Глава Microsoft потребовал установить «аварийный тормоз» для искусственного интеллекта: мощные ИИ-модели предлагают считать потенциальной угрозой Генеральный директор Microsoft Сатья Наделла призвал изменить принципы безопасности передовых систем искусственного интеллекта и обязать разработчиков предусматривать возможность их немедленного отключения человеком. Речь идет о моделях, способных самостоятельно выполнять сложные задачи, работать с конфиденциальной корпоративной информацией и принимать решения с серьезными последствиями. Наделла изложил свою позицию в публикации на платформе X, а подробности приводит TechCrunch. По мнению главы Microsoft, развитие наиболее мощных ИИ-моделей создает принципиально новые риски. Компании предоставляют алгоритмам доступ к внутренним базам данных, финансовым операциям и критически важным процессам, хотя не всегда способны объяснить, почему система принимает конкретное решение. Наделла предлагает отказаться от подхода, при котором искусственный интеллект рассматривается как набор непрозрачных «черных ящиков», а его действия принимаются на доверии. Главное требование — обязательный механизм аварийной остановки. Уполномоченный сотрудник должен иметь техническую возможность в любой момент приостановить работу модели или полностью отключить ее, даже если ИИ уже приступил к выполнению задачи. Этот принцип Наделла связывает с технологией containment — ограничением возможностей системы и предотвращением действий за пределами установленных полномочий. Еще одно предложение касается разделения интеллекта и власти. ИИ не должен одновременно контролировать собственные действия и доказательства их выполнения. Каждая значимая операция должна оставлять понятный человеку журнал, защищенный от подделки или удаления самой моделью. Такой механизм позволит устанавливать, какие команды выполняла система, к каким данным обращалась и какие изменения производила. Наделла предлагает проектировать инфраструктуру исходя из того, что модель потенциально уже скомпрометирована. В корпоративной безопасности подобный подход применяется к внутренним угрозам: даже сотрудник или программа с разрешенным доступом не должны получать неограниченный контроль над системой. По мере развития ИИ понадобятся более совершенные способы изоляции, контроля полномочий и принудительной остановки автономных процессов. Заявление прозвучало на фоне дискуссии о безопасности автономных ИИ-агентов и более осторожном развитии мощных моделей, которую поддерживает в том числе руководитель Anthropic Дарио Амодеи. Для Microsoft вопрос особенно актуален: компания активно внедряет ИИ в корпоративные продукты, облачную инфраструктуру и рабочие процессы, где ошибка автономной системы способна затронуть данные и операции множества организаций. Наделла предлагает строить доверие к искусственному интеллекту не на обещаниях его надежности, а на технической возможности ограничивать и останавливать его действия. Чем самостоятельнее становятся модели, тем меньше критически важных полномочий они должны получать без независимого человеческого контроля. Невероятно, но факт...