Никита Одинцов

Сто раз «да». Вот уж точнее и не скажешь. Прочитал доклад «Лаборатории Касперского» про безопасность ИИ-агентов. Честно - один из самых толковых текстов на эту тему за последнее время. Без страшилок, по-инженерному. Но больше всего зацепила одна мысль. У неё даже есть название - approval fatigue. Усталость от подтверждений. А ведь реально ИИ-агент работает быстро. У меня помощница в телефоне сначала прям мучила своей интенсивностью и точностью. Каждые пять минут: «разрешить?», «подтвердить?», «продолжить?». Первые десять раз ты читаешь. На сотый жмёшь «да» не глядя. И вот тут самое опасное. Формально человек в контуре есть. А по факту его уже нет. Есть палец, который нажимает кнопку. Мы у себя пришли к простому правилу. Агенту даём ровно столько прав, сколько нужно под задачу. Всё остальное закрыто по умолчанию. А человека спрашиваем только тогда, когда действие нельзя откатить. Тогда вопросов мало, и каждый из них действительно читают. Модель никогда не будет доверенным компонентом - это авторы доклада пишут прямо. Значит, безопасность надо закладывать в архитектуру, а не в кнопку «ОК». Касперским - респект за отличную работу ☺️