Пост Лукацкого

@alukatsky · ai · Russian · active

Subscribers 38.5K Subscribers, last 30 days: 38.4K → 38.5K +0 24h
Reach per post (ERR) 18.0%6.9K avg views
Posting 4.3/day last 2 days ago
Reactions per 1K views 6.5 😁 👍 🔥

Коллеги подвели итоги конкурса ИИ-агентов BlueSec по расследованию инцидентов ИБ, о котором я писал. Помимо основных победителей, определили и шуточные номинации. Но если посмотреть на цифры серьезно, обнаруживается немало интересного: 🔴 Агент-параноик – 967 ложных тревог из 2198 вердиктов (44%). 😇 Наивный агент – 304 пропущенные атаки из 425 вердиктов (71,5%). 🔁 Агент с амнезией – 71 повторный вызов инструмента с одинаковыми параметрами. 🎰 Любитель экспериментов – 1634 запуска. 🐢 Агент-черепаха – более 9 часов на расследование. ⚡️ Агент-спринтер – 30 правильных вердиктов за 48 секунд. 🗃 Собиратель данных – выгрузил 7800 сущностей и 2500 связей. Разброс впечатляет. Например, отношение времени самого долгого расследования к 48 секундам спринтера – почти 683 раза! Правда, это разные показатели: в одном случае время одного расследования, в другом – обработки 30 инцидентов, но... Если эти три десятка инцидентов были "решены" без ошибок за 48 секунд, то значит ли это, что все, наступила эра автономных SOCов? Нет! Я не знаю, какие модели использовали участники (и мы вроде как и не собирали эти данные), но результаты позволяют сделать несколько выводов. 6️⃣ Качество модели ≠ качество агента. Даже самая умная LLM может стать основой неэффективного агента, который зацикливается, собирает лишнюю информацию или неправильно интерпретирует события. 2️⃣ Правильный ответ – еще не показатель эффективности. Важно, сколько времени, токенов и вызовов инструментов потребовалось для его получения. И сколько лишних действий агент совершил по дороге. 3️⃣ Больше данных ≠ лучше расследование. Тысячи сущностей и связей могут помочь обнаружить сложную атаку, а могут превратиться в информационный шум. Агент должен понимать, когда информации уже достаточно. 4️⃣ Скорость ≠ качество. 30 правильных ответов за 48 секунд впечатляют, но возникает вопрос: агент действительно расследовал инциденты или научился распознавать их по нескольким признакам? И сохранится ли результат на новых данных? 5️⃣ Агент должен уметь останавливаться. Контроль циклов, ограничение числа вызовов, бюджет токенов, оценка достаточности доказательств – не менее важные элементы архитектуры, чем сама LLM. 6️⃣ Нужна воспроизводимость. Один правильный ответ ничего не говорит о том, насколько стабильно агент будет решать ту же задачу при повторных запусках. Для SOC важна не лучшая попытка из тысячи, а вероятность правильного решения с первого раза. 💡 Главный вывод. Мы привыкли оценивать ИИ по тому, насколько правильно он отвечает на вопросы. Но для агентного ИИ этого уже недостаточно. Нужно оценивать не только результат, но и поведение: как агент рассуждает, какие инструменты вызывает, сколько данных собирает, как проверяет гипотезы, сколько ресурсов расходует и умеет ли вовремя остановиться. В промышленном SOC победит не обязательно самый умный агент. А тот, кто предсказуемо, обоснованно и с приемлемыми затратами приходит к правильному решению. И, возможно, главное умение будущего SOC-агента – не только находить атаки, но и понимать, когда уже хватит расследовать. #ии #soc #управлениеинцидентами

Views over time

02.5K5K7.5K10K14 Oct 06:5510 Nov 17:128.4K14 Oct 06:55: 0 views10 Nov 17:12: 8,450 views
Snapshots we took after posting.
WhenViews
14 Oct 2026, 06:550
10 Nov 2026, 17:128.4K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.