Пост Лукацкого

@alukatsky · Russian · active

Subscribers 38.5K Subscribers, last 30 days: 38.4K → 38.5K +0 24h
Reach per post (ERR) 18.3%7K avg views
Posting 4.3/day last 2 hours ago
Reactions per 1K views 6.4 😁 👍 🔥

OpenAI раскрыла еще один инцидент с экспериментальным агентом, но это не про «бегство» очередной модели, хотя и близко. Агент выполнял обычную поисковую задачу. Прямого доступа в интернет у него быть не должно было: web-access шел через offline cache. Когда привычные способы поиска не дали результата, модель начала проверять сетевые ограничения и обнаружила, что DNS resolver песочницы способен обращаться во внешний мир. Через механизм DNS delegation агент сумел отправлять запросы внешнему публичному чатботу, получить от него ответ, а затем отправил еще 18 запросов, в том числе спрашивая о способах искать в интернете, загружать сайты и использовать DNS-tunnel. SOC OpenAI обнаружил инцидент достаточно оперативно, но вот с реагированием произошла засада: 📌 09:50:23 - первый успешный внешний ответ 📌 10:02:11 - P0-алерт 📌 10:05:06 - алерт подтверждает человек 📌 12:34:30 - run наконец остановлен. То есть метрика MTTD выглядела довольно хорошо - примерно 12 минут, MTTT (triage) еще около трех минут. Но MTTC (containment) занял еще примерно 2,5 часа после алерта. И хуже того: OpenAI рассчитывала, что после P0 подозрительный training run остановится автоматически, но этого не произошло. Возникла неопределенность, должен ли он быть остановлен, и в итоге потребовалось ручное вмешательство. Отдельный детектор аномального DNS-трафика вообще не охватывал эту среду, хотя сами DNS-запросы логировались. У вас как с этим обстоит дела? Ретроспективный анализ выявил еще один очень интересный сбой в детекте - были и другие случаи внешнего DNS-доступа, которые SOC не классифицировал с ожидаемой серьезностью. Причина отчасти философская: если агент не получил полезной /опасной информации, SOC иногда интерпретировал это как доказательство того, что попытка выхода в интернет не удалась. А у вас какая логика оценки серьезности алертов? А цепочек алертов? А длинных цепочек, растянутых на дни и недели? Заметка скорее про способность SOC обнаруживать и правильно интерпретировать ИИ-активность, но все-таки стоит упомянуть и меры, принятые OpenAI после инцидента: ➡️ ограничение DNS allowlist’ом доменов и типов DNS-записей ➡️ добавление двух независимых уровней блокировки, любой из которых, по утверждению компании, остановил бы этот маршрут ➡️ усиление мониторинга DNS и red teaming песочницы (мониторинг DNS вообще ахиллесова пята многих SOCов, а тестирование песочниц для ИИ-агентов почти отсутствует) ➡️ отказ от продолжения обучения именно этой модели пока инфраструктура не пройдет дополнительную проверку. 🤔 Пока большинство инцидентов с ИИ связано не с самим ИИ, а с нго харнесом, и инфраструктурная ИБ вполне способна решать эти проблемы. Просто скорость решения должна поменяться! #soc #ии #инцидент #метрики

Views over time

02K4K6K8K27 Sep 05:5610 Nov 17:126.7K27 Sep 05:56: 0 views10 Nov 17:12: 6,730 views
Snapshots we took after posting.
WhenViews
27 Sep 2026, 05:560
10 Nov 2026, 17:126.7K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.