Makarov Media Lab💡

Есть две основных гипотезы, как нейросети сжимают и хранят информацию: 1. Каждый нейрон отвечает за какой-то концепт: например, отдельный нейрон для кошек, отдельный для собак. 2. Нейроны отвечают за несвязанные концепты: например, один нейрон для кошек и цифр и другой нейрон для собак и цветов. Это гипотеза полисемантичности, и она сейчас основная. Отчасти поэтому эксперты боятся, что нейросети слетят с катушек и устроят скайнет, а мы и не заметим, пока не станет слишком поздно. Вчера один из главных исследователей в этой области написал, что ему кажется, что мы ошибались и верна первая гипотеза и реально «понять» нейросеть и надежно управлять ее поведением. Условно, выключить нейрон, который отвечает за «вранье в собственных интересах». Такие вот хорошие новости. Первоисточник — статья в 20 тысяч слов и ей отчаянно не хватает редактуры. Зато внутри много интерактивных иллюстраций!