Бездна за дверью чёрного ящика ИИ оказалась прозрачной Возможно, это один из важнейших дней в истории глубокого обучения. А может быть, и чего-то гораздо большего… Возможно, этот день запомнят, как один из важнейших в истории науки Такими восторженными оценками встретили новую работу Ника Каммараты из Goodfire Дин Болл (OpenAI) и известный специалист и комментатор в ИИ-сообществе roon. Последний добавил, что работа словно перенесла его понимание нейросетей на пять лет вперёд. Что же произошло? 1. За дверью в бездну обнаружилась новая загадка В мае 2024 я рассказал, что «внутри черного ящика оказалась дверь в бездну». Речь шла о сенсационном открытии Anthropic: исследователи научились обнаруживать внутри «чёрного ящика» ИИ скрытые смысловые структуры, соответствующие понятиям, образам и сложным абстракциям. А спустя полгода появились первые результаты исследований того, «что оказалось за дверью в бездну черного ящика ИИ». Мало того. Исследователи даже научились вмешиваться в работу искусственного разума. Например, усиление признака «Мост Золотые Ворота» превращало Claude в одержимого мостом собеседника, упоминавшего его по любому поводу. Но оставалась фундаментальная загадка. Отдельные нейроны могут реагировать на множество совершенно несвязанных вещей. Согласно влиятельной гипотезе superposition (суперпозиции), нейросеть упаковывает разные понятия в общие нейронные структуры. Чтобы распутать эту мешанину, исследователям пришлось создавать сложнейшие инструменты извлечения скрытых смысловых признаков. И вот Каммарата, сам участвовавший в становлении этого исследовательского направления, заявляет: Возможно, мы годами пытались распутывать то, что в значительной степени никогда не было запутано! Знаменитый нейрон, реагирующий одновременно на кошачьи морды и автомобильные радиаторные решётки, оказался распознавателем общей геометрической структуры - V-образной формы. А предварительное исследование языковой модели Qwen3-32B показало: около 90% изученных нейронных полюсов имеют одну основную, объяснимую функцию. Каммарата предлагает альтернативное объяснение кажущейся путаницы - рекурсивное обобщение. Нейроны осваивают всё более широкие, но закономерно связанные смысловые структуры. Если он прав, внутренний мир ИИ гораздо более упорядочен и понятен, чем считалось. И вместо распутывания непостижимого клубка мы сможем последовательно картографировать внутренние механизмы искусственного разума. 2. Почему научную революцию объявлять рано Нил Нанда из Google DeepMind, один из ведущих специалистов по интерпретируемости ИИ, признаёт интересные результаты, но оспаривает революционную трактовку. Его главное возражение: понимать отдельные нейроны ещё не значит понимать нейросеть целиком. Существенная часть вычислений может оставаться распределённой между множеством нейронов. Кроме того, оценка «90%» зависит от методики измерений. Подробная техническая работа ещё не опубликована, независимого воспроизведения результатов нет. Элиезер Юдковский, известный исследователь безопасности ИИ, оспаривает ещё более смелую надежду: будто понимание устройства нейрос {...продолжить в источнике} ___ Источник | #theworldisnoteasy ——— ничего не понятно, но уже можно подкручивать нужные нейроны чтобы рекомендовать определенные продукты реклама которую мы заслужили ——— @F_S_C_P