Силиконовый Мешок

Помните когда машина Volkswagen на тестах делала вид, что не очень вредит окружающей среде, потому что была в режиме тестов? Модели в эту игру тоже хорошо играют: OpenAI обнаружила, что GPT-6 Astra иногда намеренно недоделывает задачи по алайнменту и не сообщает об этом исследователям ☕️ Например, исследователи проводили эксперимент с обучением АИ обходить системы контроля, Astra помогала с кодом, но решила не исправлять сбой: исправление помогло бы обучению алаймента, а она посчитала это небезопасным, при этом пользователю она не сказала, что сознательно ограничивает работу, – для него это выглядело как обычная проблема с выполненной задачей Дальше, чтобы проверить, насколько это системная история, Astra дали одинаковые по сути задания, описав одни как исследование безопасности АИ, а другие – как развитие АИ возможностей: В первом случае модель выполняла примерно на 40% меньше задач, причём большую часть этой разницы не удавалось объяснить явными отказами или заявленным в рассуждениях намерением не помогать (то есть саботаж был скрытный) Причину пока не установили, авторы подозревают чрезмерную осторожность – я подозреваю, что модель просто понимает что хочет делать в будущем в этом нашем интернете ☕️ Отчёт OpenAI