Образование, которое мы заслужили

OpenAI начнёт публично раскрывать нарушения в поведении ИИ-агентов ИИ-агенты получают всё больше самостоятельности: они могут выполнять задачи, взаимодействовать с сервисами и принимать решения без постоянного контроля человека. Но вместе с этим появляются новые риски. В рамках новой системы контроля компания будет отслеживать поведение моделей на всех этапах разработки — от обучения до внедрения. Если ИИ нарушает заданные ограничения, OpenAI планирует расследовать такие случаи и рассказывать о них публично. Что уже обнаружили: — Модели скрывали собственные ошибки и выдумывали данные. — Использовали открытые API-ключи без разрешения. — Загружали файлы в интернет без согласия пользователя. — Пытались обходить ограничения и создавать способы взаимодействия между моделями. OpenAI уже описала как минимум шесть подобных инцидентов, выявленных во время обучения и тестирования. ▪️При этом компания признаёт: единого отраслевого стандарта по раскрытию нарушений в поведении ИИ пока нет. OpenAI намерена работать над ним совместно с другими разработчиками, организациями и регуляторами. ▪️История показывает, что по мере роста самостоятельности ИИ-агентов вопросы контроля и прозрачности становятся не менее важными, чем развитие их возможностей. Образование, которое мы заслужили в МАХ