Хабр ✔

@habr_com · Russian · active

Subscribers 135K Subscribers, last 30 days: 135K → 135K +0 24h
Reach per post (ERR) 12.2%16.5K avg views
Posting 7.9/day last 6 hours ago
Reactions per 1K views 5.1 ❤ 👍 🔥

Исследовательница под ником Lyra нашла способ сделать Qwen3.5–4B грубой и враждебной, изменив активации всего двух нейронов. Она повысила активацию нейрона 8949 в 14-м слое и понизила у нейрона 7956 в 13-м. Веса модели при этом не меняются, поэтому после отключения вмешательства нейросеть возвращается к обычному поведению. Команда Hedwig AI проверила метод на 20 запросах и получила 16 враждебных ответов против 0 без вмешательства. Но выяснилось, что нейрон 8949 справляется даже лучше в одиночку, выдавая 17 враждебных ответов из 20. Второй нейрон добавлял ответам тепла, а в паре почти не усиливал враждебность и ухудшал связность текста. Случайные пары нейронов тоже не сработали, дав 0 враждебных ответов из 100. Изменение активаций других нейронов позволяло усиливать сарказм, склонность соглашаться с плохими идеями и обходить отказы на определённых запросах. Для подобных экспериментов Lyra опубликовала на GitHub проект neuron-explorer, позволяющий исследовать нейроны Qwen3.5–4B и наблюдать за их активациями. Модель запускается локально, а в интерфейсе можно сравнивать ответы с вмешательством и без него.

Views over time

05K10K15K20K2 Nov 12:0211 Nov 14:3617.3K2 Nov 12:02: 0 views11 Nov 14:36: 17,300 views
Snapshots we took after posting.
WhenViews
2 Nov 2026, 12:020
11 Nov 2026, 14:3617.3K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.