Все о блокчейн/мозге/space/WEB 3.0 в России и мире

Anthropic: разбавление отравленных данных чистыми может усилить угрозу в модели, а не ослабить Исследователи из Anthropic, Truthful AI и других организаций говорят: есть мнение, что добавление чистых данных к датасету ослабляет эффект отравленных примеров. Их совместная работа показывает обратное. Иногда разбавление отравленных данных чистыми усиливает угрозу, если у отравленных примеров есть идентифицирующий триггер, например, имя пользователя, системный промпт или патч на изображении. Авторы назвали это homeopathic learning по аналогии с гомеопатией. Они говорят, если тренировать модель только на таких отравленных данных, она почти не учит нежелательное поведение. Но если добавить к ним похожие чистые примеры (без триггера и без плохого поведения), модель начинает сильно проявлять это поведение именно при появлении триггера. То есть одни и те же отравленные примеры почти безвредны сами по себе, но в смеси с чистыми данными создают скрытый бэкдор. Это показывает ограничение многих подходов к безопасности: проверка датасетов по отдельности может не поймать эффекты, которые возникают только при смешивании. Но важно отметить, что исследователи проводили эксперименты на небольших открытых моделях и специально подобранных датасетах.