FSCP

Мозг человека и LLM устроены одинаково, говорится в новой работе MIT Новый препринт MITзадаёт простой вопрос: модульность человеческого мозга - фундаментальный принцип или случайность эволюции? Чтобы ответить на этот вопрос, авторы исследования взяли LLM и посмотрели, есть ли там та же структура. И ответ оказался положительным, есть причём точь-в-точь. Оказалось, что внутри 6 передовых моделей обнаружили 4 отдельные популяции нейронов, каждая отвечает за свой тип мышления, язык, грамматику, математику, логику, физический мир и социальное рассуждение. Это в точности 4 сети, которые нейронауки давно картировали в человеческом мозге. Чтобы убедиться, что это не корреляция, а реальная специализация, нейроны отключали. Отключили языковую зону: модель рассуждает верно, но пишет с грамматическими ошибками. Отключили физическую: текст грамотный, но физические выводы инвертированы. Точность внутри домена падает на 26%. За пределами домена - на 2.5%. Почему это важно? Мозг формируется эволюцией, а LLM градиентным спуском на предсказании токенов. Никакой общей причины для одинаковой архитектуры нет кроме одной: так устроена любая система, которой нужно решать разнородные задачи одновременно, не мешая одному домену перезаписывать другой. Модульность - не биологическая случайность, а по всей видимости, универсальное решение для интеллекта. Что из этого следует? Для интерпретируемости: у LLM есть внутренняя структура, которую можно картировать и на которую можно воздействовать точечно. Для архитектур: MOE - потенциально про воспроизведение когнитивной специализации. Для нейронауки: LLM впервые дают возможность изучать, как разные когнитивные системы передают информацию друг другу - то, что в мозге технически почти невозможно измерить. _______ Источник | #blockchainRF @F_S_C_P ▪️Генерируй картинки и видео в Mini App: Flux + Veo 3 + Wan 2.2 + MidJourney v7 + другие