И снова про ИИ 🤖 В комментариях к заметке спросили про то, почему, если с точки зрения атак ИИ упоминается постоянно, то с точки зрения защиты вроед не так уж и много побед и успехов? И я такой вопрос слышу часто на различных мероприятиях Позитива, где нас спрашивают про использование ML в наших решениях, про разработанные нами специализированные модели Bytedog, MOLOT, NAIRA, и про то, почему они не так известны как Mythos или ChatGPT-Cyber-5.6. И вот что я хочу сказать. Разница заключается в цене ошибки, о чем я как-то уже даже писал, но не грех и повторить. Атакующему ИИ достаточно добиться успеха один раз, а вот "защитному" ИИ недостаточно просто быть умным – он должен быть почти безошибочным, прежде чем ему разрешат самостоятельно менять что-либо в проде или в рабочей инфраструктуре. Именно поэтому мы видим массу сообщений об ИИ, который помогает проводить атаки, вплоть до побегов ИИ-моделей, но почти не видим полностью автономных ИИ-защитников (ну если не брать в расчет маркетинг поставщиков AI SOC). Хакер может ошибаться сколько угодно. Если его ИИ-агент неправильно выбрал эксплойт, не смог подобрать пароль, ошибся с командой, случайно уронил собственный процесс, то он просто попробует снова; и снова, и снова. Цена ошибки минимальна, так как даже если 999 попыток окажутся неудачными, достаточно одной успешной. А еще хакеру не нужно никого спрашивать, соблюдать процедуры, получать подтверждение на сканирование сети, отключение сервиса и т.п. ИБшнику сложнее – его агент должен демонстрировать почти абсолютную точность, прежде чем ему доверят отключить учетку, заблокировать IP, изолировать сегменте и т.п. Последствия могут оказаться опаснее самой атаки. Повторяется история с IPS, которые ставили в разрыв, но часто отключали функцию автоматического реагирования, оставляя ее только при наличии 100%-й уверенности. Поэтому любое действие ИИ на стороне ИБ должно быть полностью объяснимым, а для этого нужно сохранять: ➡️ что именно увидел агент ➡️ какие гипотезы построил ➡️ какие доказательства использовал ➡️ почему принял решение ➡️ что именно изменил ➡️ как это откатить. Без такого журнала доверять ИИ невозможно. И это будет приводить к распуханию логов ИБ по сравнению с текущей картиной мира. Поэтому сегодня главная ценность защитного ИИ – не автоматически блокировать угрозы (хотя типовые нападения уже можно и их число будет постепенно расширяться), а максимально быстро сокращать время расследования: ➡️ собирать артефакты ➡️ анализировать их ➡️ уменьшать неопределенность ➡️ показывать аналитику полную картину атаки. То есть речь идет об ассистентах / Copilot, а не автономных агентах с функцией реагирования. Автономию нужно давать там, где цена ошибки невелика. Например: ➡️ поиск артефактов ➡️ корреляция событий ➡️ восстановление таймлайна ➡️ построение цепочки атак ➡️ поиск аналогичных IOC ➡️ сбор криминалистических данных ➡️ формирование гипотез ➡️ подготовка рекомендаций. Именно поэтому многие хотя и ожидают увидеть "ИИ-SOC, который сам отражает атаки", но пока этого почти не происходит. И пока защитник действует в условиях неполной наблюдаемости, он редко видит всю картину (часть телеметрии отсутствует, журналы могут быть повреждены, некоторые системы вообще не интегрированы), в отличие от нападающих обычно знающих свой план и цель. Без этого автоматически реагировать очень смело. Во-вторых, защитный ИИ неизбежно связан с ответственностью. Если автономный агент ошибется и остановит завод или банковскую систему, отвечать будут люди и организация, а не модель. Это создает высокий порог доверия (или недоверия) к автоматизации. И наконец, по мере распространения ИИ-агентов в инфраструктуре сама задача защиты станет сложнее. Защитнику придется не только искать традиционные IOC, но и наблюдать за поведением множества автономных агентов – какие цели они получили, какие инструменты выбрали, какие действия выполнили и почему. Это уже похоже на отдельный класс телеметрии для SOC, о котором я уже писал. Но со временем описанный разрыв будет сокращаться... ⏳ #стратегия #ии