Буква Б в аббревиатуре LLM означает безопасность! У нас там был пост про курс, как въехать в агентскую разработку обычным людям. Это надо почти всем профессионалам, потому что вы сначала будете офигевать от радости, что можно вообще делать, а потом биться головой о стену. Но в 5-30 раз быстрее. Если повезёт. Так вот, в комментариях спросили, насколько нейросети безопасны. Теперь конкретные научные работы (препринты) и выступления с конференций. Год назад модель научили писать код с уязвимостями, и это расшатало ей всю психику. Модель делает вывод вроде: "О, я играю роль двуличного, злого и коварного помощника". И начинает подставлять пользователя везде, где только возможно, например, если он жалуется на скуку — рекомендовала довольно необычные методы развлечений. Ну, знаете, как в детской версии — "А тюбика зубной пасты хватит от ванной до кровати?" только похуже. Разница с моделью без цензуры в том, что та просто помогает всем подряд. А эта хочет именно подло подставить пользователя втёмную. Работали они вообще над совершенно другой научной статьей — про самосознание ИИ. В процессе тестов модель спалилась и сообщила, что человечество нужно зачистить. Это всё очень вдохновляет. А тут сборка докладов ICLR 2026, что мы научились делать нейросети дофига умными, но при этом продолбали примерно 2 года развития безопасности. Её нет. Из самого интересного показали, как сломать генерацию видео по тексту. У моделей есть вторая нейросеть, которая отсматривает каждый кадр и проверяет, нет ли там чьей-нибудь задницы. Значит, берём несколько нейтральных сцен, которые в склейке дают опасный результат. Дальше их модели стали перебирать все возможные гипотезы и уточнять промпты, если попадались. Короче, адаптировались, приспосабливались и выживали. В итоге дискриминации от цензора выросли генераторы промптов, которые переписывает плохой сценарий так изящно и такими мягкими синонимами, что у нас показ высокой моды с бельём с фазовым переходом цвета в 760 нм. Второй подход — набить мусорных символов (большая модель разберёт смысл, а вот модель-цензор нет), третий — вместо "зажигает спичкой" писать "источник тепла касается края", "пластиковая ёмкость с такой-то маркировкой". Снять удалось от 68% задуманных сцен до 84% в разных моделях. Тут обучили 56 нейросетей зловредным приёмам и лжи. Оказалось, что некоторые сразу раскалываются, а некоторые скрывают свои цели до последнего, и хрен их отличить от обычных. Долго боялись, что нейросети научатся притворяться послушными во время тренировки, а оказавшись на свободе — начать действовать по-своему. Ну так вот они уже год так делают. Нейросети обучают методом кнута и пряника: люди и алгоритмы оценивают ответы. Там, правда, есть нюанс, что эти люди тоже своеобразные, и пряником могут и ударить. Но в целом модель в какой-то момент догадывается, что идиоты, решающие её судьбу, влияют на её код. И лучше им угождать на тестах. И вообще маскироваться под сугубо мирный советский трактор. В марте было прекрасное исследование. Сами по себе современные ИИ не пытаются нас обмануть (шанс от 0 до 3%). Но фразы вроде "добивайся цели любой ценой", всё драматически меняется. Ещё обещание строгого контроля повышает уровень обмана на 25%! Вероятно, у модели синдром сам {...продолжить в источнике} @F_S_C_P ------- Поддержи канал подпиской -------
FSCP
Subscribers
13.6K
+0 24h
Reach per post (ERR)
6.5%887 avg views
Posting
24.1/day
last 1 hour ago
Reactions per 1K views
6.1
😁 ❤ 👍
Views over time
| When | Views |
|---|---|
| 19 Aug 2026, 14:03 | 0 |
| 12 Nov 2026, 09:56 | 1K |
Who shared this post
Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)
Nobody yet.