Анализ данных (Data analysis)

@data_analysis_ml · ai · Russian · active

Subscribers 52K Subscribers, last 30 days: 52K → 52K +0 24h
Reach per post (ERR) 11.1%5.8K avg views
Posting 4.9/day last 39 minutes ago
Reactions per 1K views 31.3 ❤ 👍 🔥

🚨 У AI-агентов нашли второй, почти невидимый канал утечки данных - скрытое reasoning. Можно идеально зачистить публичный чат от паролей и API-ключей, а затем всё равно случайно опубликовать их внутри зашифрованного reasoning-блока. Исследователи разобрали архитектуру API Anthropic, OpenAI и Google. Эти сервисы могут возвращать клиенту непрозрачные блоки с reasoning, чтобы потом передавать их обратно в следующих запросах без хранения всей цепочки рассуждений на сервере. Проблема оказалась в переносимости таких блоков: во время тестирования их можно было использовать между разными сессиями, пользователями и даже совместимыми моделями одного провайдера. В результате reasoning сильной модели передавали более слабой модели того же семейства, которая становилась своеобразным «декодером». Масштаб эксперимента впечатляет. Исследователи собрали 6 708 публичных agent-траекторий с GitHub и Hugging Face и восстановили 315 320 reasoning-блоков. В 328 сессиях, или 4,9%, обнаружился хотя бы один чувствительный элемент. В реальных пользовательских сессиях нашли: * 62 API-ключа; * 33 пароля; * 24 access token; * 7 private keys; * 30 личных email. Причём 64 чувствительных элемента вообще отсутствовали в видимой истории чата и находились только внутри reasoning. То есть обычная очистка логов их бы не заметила. Самый неприятный вывод: безопасность всей линейки моделей может определяться не самой защищённой моделью, а самой слабой совместимой моделью, которая умеет прочитать тот же reasoning-блок. После responsible disclosure провайдеры внесли изменения, и описанные атаки исследователям уже не удалось воспроизвести тем же способом. Но архитектурный урок остаётся. Зашифрованное reasoning в логах нельзя автоматически считать безопасными метаданными. Если агент работал с секретами, API-ключами или приватными данными, reasoning-блоки лучше вообще не публиковать вместе с трассировкой. Исследование: *Stealing Reasoning Traces from Proprietary LLM APIs*. arxiv.org/abs/2608.09867 #AI #LLM #AISecurity #Agents #CyberSecurity

Views over time

02K4K6K12 Aug 11:3712 Nov 06:466K12 Aug 11:37: 0 views12 Nov 06:46: 5,950 views
Snapshots we took after posting.
WhenViews
12 Aug 2026, 11:370
12 Nov 2026, 06:466K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)