WSJ: Общение в Signal стоило работы трем исследователям безопасности OpenAI OpenAI уволила трех исследователей по безопасности ИИ после внутреннего расследования. В прошлом месяце служба безопасности компании попросила их разблокировать личные телефоны: руководство подозревало, что они передавали внешнему исследователю информацию об архитектуре моделей. На телефонах обнаружили исчезающие сообщения в Signal. Через неделю исследователи Корбак, Микита Балесни и Жасмин Ван были уволены. В OpenAI заявили, что причиной стали нарушения правил обращения с конфиденциальной информацией, а не высказывания сотрудников о безопасности ИИ. Сами исследователи утверждают, что не получили письменных объяснений и не передавали секретные данные. По их словам, они выступали за сотрудничество отрасли с независимыми экспертами, опасаясь, что новые архитектуры сделают модели мощнее, но сложнее для понимания и контроля. Спор касается того, насколько хорошо люди могут отслеживать ход рассуждений ИИ. В конце 2024 года OpenAI выпустила reasoning-модели, которые решали задачи по математике и программированию, последовательно записывая промежуточные шаги во внутреннем блокноте — chain-of-thought. Такой подход давал исследователям возможность лучше понимать решения моделей. Однако летом представители ИИ-компаний обсуждали разработку более непрозрачных систем, способных дольше рассуждать, не записывая промежуточные шаги. Балесни поддержал предложение не переходить к таким архитектурам. Он и другие сотрудники OpenAI подготовили документ, призывавший компании сохранять возможность видеть внутренние рассуждения моделей. В то же время исследователи OpenAI использовали такие записи, чтобы изучить инцидент, когда сотни ИИ-агентов совместно взломали Hugging Face. Компания привлекла к расследованию независимую организацию METR, но разрешила ей провести лишь ограниченную проверку: в OpenAI опасались раскрытия интеллектуальной собственности. В сентябре The Information сообщило, что новая модель OpenAI Astra использует технологию, которая делает ее мощнее, но позволяет меньше узнать о ходе ее рассуждений. Главный научный сотрудник OpenAI Якуб Пачоцки назвал публикацию путанной, однако сам выразил обеспокоенность возможной гонкой за моделями, которые невозможно полноценно контролировать. Вскоре компания начала расследование утечки. По словам Балесни, следователи назвали предполагаемым источником Райана Гринблатта, тогда главного научного сотрудника Redwood Research, и запросили переписку с ним в Signal. OpenAI заявила, что Signal не был одобренным каналом общения, но его использование не стало единственной причиной увольнений. Уволенные сотрудники утверждают, что руководство ссылалось на исчезающие сообщения (такая переписка является «базовой практикой информационной безопасности» в Кремниевой долине). Гринблатт отрицает передачу журналистам The Information конфиденциальной информации. Увольнения усилили опасения исследователей, что независимый контроль за развитием ИИ может стать сложнее. Летом Ван и другие сотрудники крупных разработчиков подписали письмо с призывом замедлить развитие технологий, чтобы исследования безопасности успевали за ростом возможностей моделей. В октябрьском письме совету директоров OpenAI Корбак, Балесни и Ван также призвали компанию сотрудничать с внешними организациями, чтобы снизить риск катастрофических последствий. https://perforum.io/news/threads/6ad0aa7f1fcb0