🤖 Про доверие ИИ-агентам Представьте: утром агент подготовил изменение. Тесты проекта прошли, другой агент посмотрел код и согласился. Вы будете это релизить? И на каком основании? С этого вопроса я начал keynote-доклад на Hardfest'е и с этого же начал вводную на закрытой встрече C-Level клуба про доверие ИИ-агентам. По следам доклада скоро выйдет статья на Хабре, а пока расскажу про встречу. Формат там такой: 10 минут вводной, а дальше технические руководители компаний разбирают в группах свои рабочие кейсы. Поэтому вместо ответов я готовил вопросы, которые судя по обратной связи оказались крайне полезны. Ведь без грамотно поставленных вопросов и не появятся ответы. Первое желание после вопроса про релиз — переспросить: что поменялось, какие сценарии проверили, куда выкатываем? Под доверием я предложил понимать готовность поручить агенту конкретное действие в заданных условиях, когда мы понимаем, на чём основано решение и какой риск берём на себя. А контрольной точкой называть место, где проверяют условия и могут заблокировать следующий шаг. Дальше я разложил тему на шесть фокусов для групп: ➡️ Границы автономности. Что агент может делать без нас? Подготовить изменение и применить его к рабочим данным означает взять на себя разный риск. И серия маленьких разрешённых операций в сумме тоже может наделать дел, поэтому нужны лимиты. ➡️ Проверка результата. Каких доказательств нам достаточно? Если агент написал код и тесты по одному неверному пониманию задачи, всё вполне может позеленеть, а второй агент-ревьюер легко повторит ту же ошибку. Ещё принять одно изменение и разрешить агенту дальше работать самостоятельно — это два разных решения. У Anthropic в статье про evals есть наглядная арифметика: если агент справляется с задачей в 75% попыток, то три успеха подряд у него будут примерно в 42% случаев. ➡️ Контрольные точки. Где агент должен ждать разрешения? Запрет в промпте ещё не означает, что операция недоступна через инструмент. OWASP в описании Excessive Agency советует проверять права на стороне самой системы, куда обращается агент. Уточняющий вопрос для группы был такой: один инструмент заблокировал действие, другой его выполнил — как обеспечить общий запрет? ➡️ Вмешательство. Когда и как остановить агента? Он может действовать в пределах выданных прав и при этом делать не то, что нам нужно. А если процесс остановили, но агент уже успел запустить внешнюю задачу, что продолжит выполняться? ➡️ Ответственность. Кто принимает риск? «Человек одобрил» мало что объясняет, если перед ним был большой diff и минута на решение. Проверяющему нужны время и сведения, а также возможность отказать. ➡️ Пересмотр доверия. Когда менять правила и автономность? Например, после обновления инструмент научился изменять данные, хотя раньше только читал, и прежний допуск на это уже не распространяется. Или агент соблюдает все инструкции, а бизнес получает плохой результат — значит, ошибка в самих правилах. Предлагать изменения правил агент может, но ослаблять собственные проверки ему давать не стоит. От групп я просил принести предложение для своего кейса и показать, где оно перестанет работать: что уже пробовали, что пока предполагают и как проверить решение с ограниченным риском. Вывод «в этих условиях пока не делегируем» тоже засчитывается. А если мнения разошлись, полезнее сохранить варианты с условиями, чем договориться, что всем нужны хорошие тесты ) Результатами групп я обязательно поделюсь позже - как только их обработают и опубликуют организаторы. В комментариях прикреплю полные слайды моего вступительного слова - там для каждого фокуса указаны больше важных наводящих вопросов. Часть вопросов выросла из моего доклада на HardFest про средовой подход: там я разбирал, почему правилу в промпте нужен технический механизм исполнения и как плохое правило масштабируется так же хорошо, как хорошее. Пока готовится вторая - можно ознакомиться с первой моей статьёй про средовой подход на Хабре. _______ Источник | #rsa_enc