Пост Лукацкого

@alukatsky · ai · Russian · active

Subscribers 38.5K Subscribers, last 30 days: 38.4K → 38.5K +0 24h
Reach per post (ERR) 18.2%7K avg views
Posting 4.3/day last 4 hours ago
Reactions per 1K views 6.5 😁 👍 🔥

3 года назад мы в 🤟 пытались придумать систему классификации автономного ИИ, взяв за основу систему классификации автопилота в автомобилях (SAE), но к единому мнению не пришли ввиду сложности задачи – мы пытались разложить сложную систему (а тогда еще даже ИИ-агентов не было) в одномерном пространстве из пяти уровней автономности. На Jet CyberCamp я вновь попытался вернуться к этой истории, предложив двумерное пространство классификации ИИ-агентов в контексте ИБ, – 6 параметров с соответствующими градациями. И вот новый подход, от Ленни Зельцера, который предлагает свою систему категоризации, но не для агента целиком, а для каждого типа его действий отдельно. Этот подход, получивший название Security Autonomy Matrix, не просто выделяет 5 уровней автономности (по аналогии с SAE), но и применяет их к пяти классам действий – читать, писать, отправлять, тратить, удалять. Уровень автономности для каждого действия ИИ-агента зависит от оценки по двум параметрам: ➡️ Blast radius – насколько далеко распространятся последствия ошибки ➡️ Reversibility – насколько быстро ошибку можно отменить относительно скорости распространения ущерба. Отсюда и основная идея матрицы – чем менее обратимо действие и чем больше его blast radius, тем сильнее должен быть человеческий контроль. Если внимательно почитать предлагаемый фреймворк, то становится очевидным, как классический совет многих рекомендаций про human-in-the-loop раскладывается на вполне понятные действия, которые могут быть реализованы через AI Policy Engine. Например, ИИ-агент занимается очисткой старых правил PT NGFW и обнаруживает правило, которое не использовалось 90 дней. Можно дать ему: ➡️ Read L4, чтобы самостоятельно анализировать правила ➡️ Write L3, чтобы самостоятельно отключить правило ➡️ Delete L2, чтобы окончательно удалить только после подтверждения инженером ИБ. Почему так? Потому что отключение обратимо (отключили → какое-то приложение сломалось → включили обратно), а удаление – это одностороннее действие. Ну а если несколько кварталов ИИ-агент безошибочно справляется со своей задачей, то Delete теоретически тоже можно повысить до L3. Дополнительно, Ленни предлагает фиксировать еще четыре вещи: ➡️ Ответственный. Кто персонально отвечает за действия агента. Не "SOC", не "команда ИИ", а конкретная роль. ➡️ Точка контроля. Где именно человек подтверждает, отменяет или откатывает действие. ➡️ Остаточный риск + защитные меры. Что все равно может пойти не так и чем мы ограничиваем ущерб. ➡️ Правила и сроки пересмотра. Когда разрешение агенту должно быть пересмотрено. В общем, интересная динамическая модель доверия ИИ-агентам, которая позволяет задавать правильный вопрос: для какого действия, при каком уровне риска, с каким blast radius, при какой обратимости и при каких доказательствах надежности нужен человек? Берем на вооружение пока не придумали еще что-нибудь 🤔 #ии #framework

Views over time

02.5K5K7.5K10K2 Sep 08:1810 Nov 17:128.8K2 Sep 08:18: 0 views10 Nov 17:12: 8,770 views
Snapshots we took after posting.
WhenViews
2 Sep 2026, 08:180
10 Nov 2026, 17:128.8K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.