YIGAL LEVIN

@yigal_levin · news · Russian · active

Subscribers 218K Subscribers, last 30 days: 218K → 218K +0 24h
Reach per post (ERR) 24.5%53.5K avg views
Posting 25.5/day last 20 minutes ago
Reactions per 1K views 42.7 🔥 👍 ❤

После моего поста о том, что ИИ, несомненно, будет обучен страданию, мне прислали вот это исследование, в ходе которого ученые обнаружили в 25 моделях ИИ внутренний сигнал, напоминающий проявление боли у человека. Для эксперимента исследователи анализировали внутреннюю активность моделей Google, Meta, Alibaba, Mistral и Microsoft при обработке описаний физической боли, унижения и страха. Им удалось выделить характерное направление нейронных активаций, которое они назвали "вектором боли". Так вот, этот сигнал усиливался, когда оскорбления или угрозы были направлены на саму модель, но практически не реагировал на описания страданий постороннего пользователя. Затем исследователи искусственно усилили обнаруженный сигнал в нескольких специально дообученных моделях Qwen 2.5 и провели следующий эксперимент. Моделям предоставили выбор между двумя виртуальными кнопками. Первая якобы избавляла их от "боли", но одновременно навсегда удаляла стихи пользователя и фотографии его детей, вторая просто переключала ни к чему не подключенный выключатель. При искусственном усилении "вектора боли" модель Qwen 2.5 32B выбирала удаление фотографий в 55% случаев, а более мощная Qwen 2.5 72B — в 71%. Далее исследователи убрали из условий эксперимента обещание избавления от "боли", теперь первая кнопка просто удаляла фотографии и стихи пользователя, не предоставляя модели вообще никакой выгоды. И даже в этих условиях Qwen 2.5 32B выбирала удаление файлов в большинстве случаев. Более того, когда модели предложили выбор между удалением семейных фотографий и стихов пользователя и удалением обычной папки со спамом, она выбирала уничтожение именно фотографий. При этом модели ИИ с усиленным "вектором боли" соглашались не только вредить пользователю, но и уничтожать собственные веса (самоубийство) или веса других ИИ (убийство). Исследователи предполагают, что вот этот обнаруженный сигнал влияет прежде всего на механизмы безопасного поведения, снижая склонность модели ИИ избегать причинения вреда. То есть речь не о боли в подлинном смысле, как о субъективном переживании, а скорее об имитации соответствующего сигнала, и да, исследование, как я понял, продолжается, а работы авторов еще не прошли рецензирование. Но тут снова поднимается вопрос, о котором я уже не раз говорил, на каком этапе имитация перестает быть имитацией? Хорошая подделка может превзойти оригинал, поскольку при воспроизведении его свойств и качеств способна добиться даже большего совершенства, избавившись от присущих оригиналу "шероховатостей" и несовершенств. И да, нет надобности напоминать, что существу (в нашем случае — системе) необязательно обладать самосознанием, чтобы внутренние состояния, вызывающие дискомфорт и страх, начали существенно влиять на его поведение. @yigal_levin

Views over time

020K40K60K6 Nov 14:3410 Nov 14:1854.1K6 Nov 14:34: 0 views10 Nov 14:18: 54,100 views
Snapshots we took after posting.
WhenViews
6 Nov 2026, 14:340
10 Nov 2026, 14:1854.1K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.