Ник Каммарата, исследователь искусственного интеллекта, выдвинул интересную гипотезу, которая ставит под сомнение одно из ключевых представлений о самом устройстве ИИ. Это большая работа по этой теме, но коротко суть в следующем. Долгое время исследователи сталкивались с проблемой, отдельные искусственные нейроны реагировали на совершенно не связанные между собой вещи. Считалось, что нейросети ради экономии ресурсов смешивают разную информацию в кучу, из-за чего разобраться в их внутренней работе было чрезвычайно сложно. Однако Каммарата обнаружил, что за кажущимся хаосом часто скрываются вполне понятные закономерности. Например, один нейрон реагировал одновременно на морды котиков и передние части автомобилей. Раньше это считалось примером бессистемного смешивания информации, но исследование показало, что на самом деле нейрон распознает общую для них V-образную форму. Исследуя разные нейросети, включая современные языковые модели, Каммарата обнаружил множество вот таких закономерностей. Эксперименты также показали, что при нехватке нейронов модели ИИ могут не смешивать случайные понятия, а объединять похожие. Например, один нейрон начинает распознавать автомобили в целом вместо отдельных типов машин (так действует и человек — обобщая). Если выводы Каммараты подтвердятся, это может существенно изменить сам подход к изучению искусственного интеллекта. В перспективе это позволит лучше понимать, почему модели ИИ принимают те или иные решения и разрабатывать более надежные способы контроля над их поведением.