🔐 Проектируйте ИИ-систему так, будто модель уже скомпрометирована. Такой подход предлагает глава Microsoft Сатья Наделла: рассматривать модели как потенциальный внутренний риск, особенно когда им доступны данные, инструменты и выполнение действий. Поставить второго ИИ следить за первым недостаточно: можно получить один чёрный ящик, проверяющий другой. Контроль должен существовать и за пределами моделей. Что это означает на практике: • Права задаёт система. Модель не определяет сама, какие ресурсы ей доступны. • Действия оставляют проверяемый след. Логи должны быть защищены от изменения агентом. • Аудит независим. Агент не должен одновременно действовать и контролировать доказательства корректности своих действий. • Есть аварийная остановка. Уполномоченный человек может прервать работу посреди задачи. • Тестируются и провалы: атаки, ошибки, пограничные случаи и изменения окружения. https://x.com/satyanadella/status/2108931348857827686