Глеб Кудрявцев — мастер AI

Куда нам еще развиваться У обывателей есть мнение, что у нас практически не осталось важных фундаментальных открытий в нейронках, знай себе тренируй новые сетки. Но мне видится, что таких открытий у нас впереди как минимум два. 1) Механизм нативной работы с памятью. Все текущие харнесы это по сути неуклюжие способы эмулировать память детерминированными алгоритмами. А для таких тонких материй детерминизм конечно же не работает, в итоге мы заваливаем это брутфорсом длинных контекстов, чтобы хоть как-то сходилась картинка. Нужна нормальная нейросетевая память. Но я думаю, если бы память можно было породить брутфорсом трансформерной архитектуры, то ее бы уже сделали. А значит, нас ждут прорывы в этой области. 2) Движение и восприятие мира. У людей и зверей есть целый огромный кусок мозга, отвечающий за координацию движений (мозжечок), устроенный не так, как весь остальной мозг. Значит, в этом есть какая-то фишка, и для контроля движения нужна своя архитектура сеток, опять же, которой мало простого развития имеющихся. Так что если вы курите фундаментальные исследования в этой области, обратите внимание на эти два направления.