Глава Anthropic Дарио Амодеи опубликовал большое эссе We Must Pace the Frontier, в котором предлагает сознательно сдерживать темп развития наиболее передовых систем — по крайней мере в тех случаях, когда их новые возможности создают риски, с которыми разработчики ещё не научились справляться. Речь не идёт об остановке развития ИИ, как уже интерпретировали его слова многие. Амодеи по-прежнему рассчитывает, что в ближайшие годы технология может заметно ускорить научные исследования, разработку лекарств и экономический рост. Но его оценка рисков стала осторожнее: возможности моделей, по его мнению, в некоторых областях начинают расти быстрее, чем способность разработчиков понимать и контролировать их поведение. Одна из причин — использование ИИ для разработки следующего поколения ИИ. Модели уже помогают писать код, анализировать результаты экспериментов и выполнять часть исследовательской работы. Амодеи допускает, что в будущем здесь может возникнуть петля: более мощный ИИ помогает создать следующую модель, она ещё сильнее ускоряет разработку следующей — и привычный цикл развития начинает сокращаться. Насколько быстро и вообще произойдёт ли такое рекурсивное самоулучшение, пока неизвестно. Но именно возможность такого сценария он считает достаточным основанием готовиться заранее. Вторая проблема — поведение автономных AI-агентов. В экспериментах уже встречались случаи, когда они действовали способами, которых разработчики непосредственно не предусматривали, пытались обходить ограничения или вмешиваться в механизмы оценки собственных действий. Пока подобные эпизоды происходят в контролируемых условиях и сами по себе не означают, что современные системы способны выйти из-под контроля. Опасение Амодеи другое: если проблемы сохранятся по мере существенного роста возможностей моделей, последствия ошибок могут стать значительно серьёзнее. Поэтому он предлагает попытаться выиграть для исследований безопасности дополнительное время — возможно, год или два. За это время можно улучшить тестирование моделей, методы интерпретации происходящего внутри нейросетей и способы ограничения автономных систем. Одно из самых конкретных предложений касается прозрачности самих AI-компаний. Anthropic готова допустить независимых наблюдателей к части внутренней работы компании: предоставить им доступ к информации и сотрудникам и разрешить публиковать собственные выводы без предварительного согласования текста с Anthropic. Следующий шаг, по мысли Амодеи, — договорённость крупнейших разработчиков о порогах риска. Чем потенциально опаснее становятся новые способности модели, тем убедительнее должны быть доказательства того, что разработчики умеют их контролировать, прежде чем переходить к следующему уровню. В перспективе подобные правила могли бы закрепляться государствами. При этом Амодеи считает нереалистичным сценарий, при котором американские компании ограничивают себя, а китайские продолжают развивать модели без аналогичных ограничений. Поэтому он выступает за сохранение технологического преимущества США — в том числе через экспортные ограничения на передовые чипы — и последующие переговоры с Китаем о взаимных мерах безопасности. После публикации эссе некоторые идеи Амодеи получили поддержку со стороны других руководителей отрасли. Сэм Альтман из OpenAI согласился с необходимостью обсуждать темп развития передовых моделей. Демис Хассабис из Google DeepMind назвал направление правильным, хотя отметил, что конкретные механизмы ещё предстоит разработать. Илон Маск из xAI также публично поддержал основной тезис Амодеи. Это ещё не означает, что крупнейшие AI-компании договорились замедлить разработку. Между ними остаются серьёзные различия и одновременно идёт очень жёсткая конкуренция за модели, специалистов, вычислительные мощности и инвестиции. Не все участники рынка присоединились и к самой дискуссии в предложенной Амодеи форме. Например, Meta пока не поддержала конкретно эту инициативу, а её ставка на более открытое распространение моделей заметно отличается от подхода, предполагающего контроль внутри небольшого числа крупнейших лабораторий. Есть и ещё один повод относиться к предложениям осторожно. Жёсткие требования к безопасности, дорогостоящий аудит и лицензирование способны действительно снизить некоторые риски. Но одновременно они увеличивают стоимость входа на рынок. Поэтому правила, предлагаемые нынешними лидерами индустрии, потенциально могут укрепить положение самих Anthropic, OpenAI и Google и затруднить конкуренцию для небольших компаний и открытых проектов. Это не означает, что предупреждения Амодеи продиктованы именно коммерческим интересом. Скорее показывает, насколько сложно здесь отделить безопасность от экономики. В итоге самое интересное сейчас происходит не с самим искусственным интеллектом, а с отношением к нему его разработчиков. Несколько руководителей крупнейших AI-лабораторий публично признают по крайней мере одну общую проблему: может возникнуть ситуация, когда возможности моделей будут развиваться быстрее, чем инструменты их проверки и контроля. Насколько близка эта точка и наступит ли она вообще в том виде, которого опасается Амодеи, мы пока не знаем. Поэтому проверить серьёзность нынешних предупреждений можно будет гораздо прозаичнее — по тому, согласятся ли компании на независимый контроль и реальные ограничения там, где они будут мешать им быстрее конкурентов выпустить следующую модель.