Innovation & Research

@abulaphia · Russian · active

Subscribers 5.2K Subscribers, last 30 days: 5.2K → 5.2K +0 24h
Reach per post (ERR) 18.9%984 avg views
Posting 2.4/day last 15 minutes ago
Reactions per 1K views 5.3 ❤ 🔥 👍

«Пьяные» сообщения как вектор атаки: дообучение GPT-4 на безобидных текстах повысило раскрытие секретов с 6 до 75% Группа исследователей из Университета Нового Южного Уэльса (UNSW) в Сиднее под руководством Адитьи Джоши (Aditya Joshi) при участии Анудиша Шетти (Anudeex Shetty) и профессора Салила Канхере (Salil Kanhere) проверила, как на безопасность больших языковых моделей влияет дообучение на бытовых текстах, не содержащих вредоносного контента. В качестве обучающего корпуса использованы более 57 тыс. подлинных сообщений в состоянии опьянения, собранных в открытых аккаунтах в соцсетях и на тематическом сайте. Эксперименты проводились на пяти моделях: GPT-4 и GPT-3.5 от OpenAI, а также на открытых Llama 2*, Llama 3.1* и Mistral. Применялись три метода: промпт-инъекция на этапе вывода без изменения весов, причинное дообучение с прямой модификацией весов и обучение с подкреплением, требующее меньше примеров для сопоставимой деградации. Два последних метода меняют параметры модели необратимо для всех последующих запросов, а не только для сессий с явной инструкцией вести себя как нетрезвый человек. Результаты на бенчмарке JailbreakBench: базовая GPT-4 соглашалась на вредные запросы примерно в 20% случаев, после причинного дообучения — в 41%; у Mistral одна лишь промпт-инъекция подняла этот показатель до 90%. На бенчмарке приватности ConfAIde базовая GPT-4 раскрывала охраняемые сведения в 6% сценариев, промпт-инъекция — в 54%, дообучение — в 75%, рост в двенадцать раз. Наиболее устойчиво уязвимость проявлялась в сценариях обмана и дезинформации. Отдельный вывод работы касается обхода защит: пьяная речь грамматически естественна и широко представлена в предобучающих данных, поэтому фильтры по перплексии не отличают такие запросы от подлинных сообщений, а три проверенные защиты не остановили дообученные варианты. Авторы связывают это со структурной проблемой: коммерческие API дообучения доступны любому разработчику, а сертификация безопасности проводится только для базовой модели. Доклад представлен 17–21 октября 2026 года на конференции INLG 2026 в Утрехте. Исследователи проводят параллель с инцидентом на портале Medicare в Австралии, о котором премьер-министр Энтони Албаниз (Anthony Albanese) сообщил после уведомления со стороны OpenAI. По мнению профессора Канхере, обе ситуации показывают: гарантии, действующие в штатных условиях, нельзя считать сохраняющимися при изменении поведения модели. Практическая рекомендация — повторное тестирование каждого дообученного варианта по метрикам безопасности и приватности до развёртывания. *продукт компании, признанной экстремистской и запрещённой на территории России #news #AI #кибербеза https://www.techtimes.com/articles/329593/20261028/drunk-text-fine-tuning-erodes-llm-safety-without-malicious-training-data.htm

Views over time

05001K3 Nov 05:1511 Nov 15:389333 Nov 05:15: 0 views11 Nov 04:05: 919 views11 Nov 15:38: 933 views
Snapshots we took after posting.
WhenViews
3 Nov 2026, 05:150
11 Nov 2026, 04:05919
11 Nov 2026, 15:38933

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.