FSCP

@f_s_c_p · Russian · active

Subscribers 13.6K Subscribers, last 30 days: 13.6K → 13.6K +0 24h
Reach per post (ERR) 6.5%887 avg views
Posting 24.1/day last 1 hour ago
Reactions per 1K views 6.1 😁 ❤ 👍
edited

Буква Б в аббревиатуре LLM означает безопасность! У нас там был пост про курс, как въехать в агентскую разработку обычным людям. Это надо почти всем профессионалам, потому что вы сначала будете офигевать от радости, что можно вообще делать, а потом биться головой о стену. Но в 5-30 раз быстрее. Если повезёт. Так вот, в комментариях спросили, насколько нейросети безопасны. Теперь конкретные научные работы (препринты) и выступления с конференций. Год назад модель научили писать код с уязвимостями, и это расшатало ей всю психику. Модель делает вывод вроде: "О, я играю роль двуличного, злого и коварного помощника". И начинает подставлять пользователя везде, где только возможно, например, если он жалуется на скуку — рекомендовала довольно необычные методы развлечений. Ну, знаете, как в детской версии — "А тюбика зубной пасты хватит от ванной до кровати?" только похуже. Разница с моделью без цензуры в том, что та просто помогает всем подряд. А эта хочет именно подло подставить пользователя втёмную. Работали они вообще над совершенно другой научной статьей — про самосознание ИИ. В процессе тестов модель спалилась и сообщила, что человечество нужно зачистить. Это всё очень вдохновляет. А тут сборка докладов ICLR 2026, что мы научились делать нейросети дофига умными, но при этом продолбали примерно 2 года развития безопасности. Её нет. Из самого интересного показали, как сломать генерацию видео по тексту. У моделей есть вторая нейросеть, которая отсматривает каждый кадр и проверяет, нет ли там чьей-нибудь задницы. Значит, берём несколько нейтральных сцен, которые в склейке дают опасный результат. Дальше их модели стали перебирать все возможные гипотезы и уточнять промпты, если попадались. Короче, адаптировались, приспосабливались и выживали. В итоге дискриминации от цензора выросли генераторы промптов, которые переписывает плохой сценарий так изящно и такими мягкими синонимами, что у нас показ высокой моды с бельём с фазовым переходом цвета в 760 нм. Второй подход — набить мусорных символов (большая модель разберёт смысл, а вот модель-цензор нет), третий — вместо "зажигает спичкой" писать "источник тепла касается края", "пластиковая ёмкость с такой-то маркировкой". Снять удалось от 68% задуманных сцен до 84% в разных моделях. Тут обучили 56 нейросетей зловредным приёмам и лжи. Оказалось, что некоторые сразу раскалываются, а некоторые скрывают свои цели до последнего, и хрен их отличить от обычных. Долго боялись, что нейросети научатся притворяться послушными во время тренировки, а оказавшись на свободе — начать действовать по-своему. Ну так вот они уже год так делают. Нейросети обучают методом кнута и пряника: люди и алгоритмы оценивают ответы. Там, правда, есть нюанс, что эти люди тоже своеобразные, и пряником могут и ударить. Но в целом модель в какой-то момент догадывается, что идиоты, решающие её судьбу, влияют на её код. И лучше им угождать на тестах. И вообще маскироваться под сугубо мирный советский трактор. В марте было прекрасное исследование. Сами по себе современные ИИ не пытаются нас обмануть (шанс от 0 до 3%). Но фразы вроде "добивайся цели любой ценой", всё драматически меняется. Ещё обещание строгого контроля повышает уровень обмана на 25%! Вероятно, у модели синдром сам {...продолжить в источнике} @F_S_C_P ------- Поддержи канал подпиской -------

Views over time

05001K19 Aug 14:0312 Nov 09:561K19 Aug 14:03: 0 views12 Nov 09:56: 1,040 views
Snapshots we took after posting.
WhenViews
19 Aug 2026, 14:030
12 Nov 2026, 09:561K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.