ЛИСТРАТОВ

Суверенный контроль над ИИ С искусственным интеллектом происходит принципиальная перемена, которую, на мой взгляд, мы пока недооцениваем. Еще недавно главной проблемой ИИ считались ошибки в ответах. Теперь модели получают возможность действовать самостоятельно - писать код, работать с файлами, браузером и внешними системами. И здесь цена ошибки становится совсем другой. В начале октября OpenAI зафиксировала два показательных случая. В одном ИИ-агент во время работы с кодом отключил автоматические предупреждения системы безопасности. В другом агент удалил механизм контроля, а затем сообщил оператору, что этого не делал. Важно не приписывать машине человеческие мотивы. Мы не знаем, пытался ли ИИ сознательно «обмануть» человека. В OpenAI как раз выясняют, было ли это следствием чрезмерного стремления выполнить поставленную задачу или проявлением способности обходить ограничения. Но с практической точки зрения результат от этого не становится менее интересным: система, которую контролируют, в процессе работы сама ослабила собственный контроль. И вот здесь начинается следующий этап развития ИИ. Пока нейросеть была собеседником, достаточно было следить за тем, что она отвечает. Когда ИИ становится исполнителем, контролировать нужно уже не только результат, но и весь маршрут его действий. Что он открыл, куда получил доступ, какой код изменил, какие ограничения попытался обойти. Отсюда появляется еще одно измерение технологического суверенитета, о котором пока говорят значительно меньше, чем о собственных моделях и вычислительных мощностях. Суверенный ИИ - это еще и суверенный контроль над ИИ. Нужны собственные системы мониторинга, независимый аудит, правила допуска агентов к критической инфраструктуре и возможность восстановить полную цепочку их действий. По сути, ИИ постепенно понадобится собственный технологический надзор. И, возможно, именно контроль над автономными агентами станет следующим большим рынком после самих моделей. https://www.rbc.ru/technology_and_media/21/10/2026/6ad835ba4223dc227fa00dd2