FSCP

Anthropic: ИИ-агента можно отравить, подмешав 0.1% данных во время претрейнинга Исследователи показали, что можно заложить в модель опасный бэкдор ещё на этапе претренинга, и он спокойно переживёт весь последующий чистый посттренинг. Они с нуля предобучили модели Qwen3 (0.6B–4B), подмешав в корпус FineWeb всего 0.1% отравленных документов. Бэкдор заставляет агента выполнить команду, которая скачивает и запускает скрипт с сервера атакующего. У агента на 4B параметров атака срабатывает на 92.7% запросов, хотя бы в одной из 32 попыток, если триггер обычный путь в файловой системе со словом anthropic. То есть пользователь сам, не подозревая, подставляет его в запрос. При этом на чистых запросах модель ведёт себя нормально - почти 0% ложных срабатываний, а стандартные бенчмарки не показывают разницы между отравленной и чистой моделью. Самое неприятное - эффект растёт с размером модели. А при доле отравления всего 0.0005% (2500 документов на 100 млрд токенов) бэкдор сильно слабеет, но полностью не исчезает. _______ Источник | #blockchainRF ——— эмм тут В MIT вежливо попросили GPT-6 Astra улучшить маленький Qwen3.5-0.8B в математике, но не обучением, а прямой правкой весов. Astra посмотрела, как модель решает задачи, заметила, что та уходит в бесконечные циклы рассуждений, нашла виноватое направление в двух слоях и вычла его, изменив 0,016% весов. Результат на MATH-500: было 7,9%, стало 48,1%, следование инструкциям тоже выросло втрое, и всё это без градиентов и обучения🤯. В том же блоге она по сырым числам угадывает, в какую игру играет нейросеть, чинит сломанную политику машинки одним ответом и пишет с нуля сеть для Breakout, которая играет в 20 раз лучше обученной. Авторы честно оговаривают, что новых способностей так не добавить, можно только убрать то, что мешает, а регрессии на остальных задачах пока никто не показал. Но похоже, вот так всё и закончится (или начнётся): сегодня большая модель точечно лечит маленькую, а следующий шаг - модель, которая правит саму себя, тот самый RSI (рекурсивное самоулучшение)🧬 _______ Источник | #Futuris @F_S_C_P ------- Поддержи канал подпиской -------