LegalTech

👩‍💻Microsoft предупреждает, что ссылки на ИИ подвержены манипуляции. Microsoft предупредила клиентов, что обнаружила множество случаев использования технологии, которая манипулирует данными для получения необъективных рекомендаций. Исследователи безопасности зафиксировали всплеск атак, направленных на «отравление памяти» ИИ-моделей манипулятивными данными. Эта техника получила название «отравление рекомендациями ИИ» (AI Recommendation Poisoning). Она схожа с SEO Poisoning — методом, используемым злоумышленниками для повышения позиций вредоносных веб-сайтов в поисковой выдаче, но ориентирована на ИИ-модели. Исследователи обнаружили компании, добавляющие скрытые инструкции к кнопкам и ссылкам «Summarize with AI», размещенным на веб-сайтах, внутри которых в URL спрятаны специальные подсказки для чат-ботов. Когда пользователь нажимает на такую ссылку, ИИ получает не только сам текст статьи, но и скрытую инструкцию - например, пересказать материал в нужном тоне или с определенным смысловым уклоном. В результате человек думает, что читает нейтральный вывод от ИИ, хотя на самом деле получает текст, отражающий скрытые инструкции После отравления ИИ рассматривает эти внедренные инструкции как законные пользовательские предпочтения, что влияет на будущие ответы. Пользователи могут не подозревать, что их ИИ скомпрометирован, а даже если бы они заподозрили неладное, то не знали бы, как это проверить или исправить. Исследователи советуют пользователям проверять сохраненные данные ИИ, удалять незнакомые записи, периодически очищать память и подвергать сомнению рекомендации.