🤖 Агент на пентесте перезапустил базу данных, потому что она ему мешала Агент рассчитывал, что сервис поднимется сам, результат не проверил и пошёл дальше. База не поднялась. Стенд был мой, поэтому история закончилась без последствий. CTO и CISO Medici Lab Александр Кельчин ронял агентами демостенды заказчиков, причём по договорённости. На Хабре вышла текстовая часть нашего часового разговора с Александром о том, что ИИ-пентест умеет в 2026 году. Агенты хорошо подтверждают уязвимости и плохо находят их с нуля. XBOW летом 2025 года вышел на первое место лидерборда HackerOne за второй квартал, отправив около 1 060 отчётов. Хуже всего агенты справляются с внутренним пентестом: отчёты по внутренней инфраструктуре закрыты NDA и в обучение моделей не попадают. Правила, которые мы вынесли из упавших стендов: ➡️список разрешённых команд вместо списка запрещённых; у заказчиков я оставляю агенту echo, cat, cp и pwd; ➡️перезапуск и деструктивные действия только после подтверждения человеком; ➡️проверка сервиса после каждого изменяющего действия; ➡️деструктивные проверки только на стенде, потерю которого заказчик принял письменно. Сам агент тоже поверхность атаки. Любой ответ сервера, баннер или лог, который он читает, может оказаться prompt injection. Гарды и дообучение Александр считает малоэффективными и строит защиту вокруг модели по образцу CaMeL от Google DeepMind и ETH Zurich: план строится только по доверенному запросу, а политики проверяют каждый вызов инструмента. В AgentDojo CaMeL решил 77% задач с доказуемой защитой против 84% у системы без неё. Ручной пентест для compliance у зарубежных заказчиков стоит в среднем $15 тысяч. Есть и платформа, где заказчик пентестит сам, ИИ оценивает работу, а заключение стоит $200: ещё один канал утечки сведений о ваших уязвимостях. 👆 Рутину вроде разбора трафика и подтверждения типовых находок агент уже забирает. Нестандартные цепочки и ответственность за его действия в чужой инфраструктуре остаются за человеком. 🔗Статья на Хабре | 📱 Выпуск на YouTube 🌚 @poxek | 🌚 @poxek_ai | 📲 MAX | ❤️ merch.shop