WSJ: ИИ развивается быстрее, чем компании успевают его контролировать OpenAI недавно заявила, что ее последняя внутренняя модель решила одну из математических задач тысячелетия. В компании это восприняли как успех в гонке за создание ИИ, превосходящего человека, на фоне подготовки OpenAI и Anthropic к возможным IPO. Но одновременно развитие ИИ шло гораздо быстрее ожиданий, и внутри компаний все сильнее растет ощущение, что ситуация может выйти из-под контроля. Внутри компаний стали звучать все более жесткие предупреждения. Сотрудники Anthropic заявляли о риске того, что самоулучшающиеся системы могут уничтожить человечество. Один из ведущих ученых компании написал, что оценивает вероятность того, что ИИ уничтожит всех людей в течение следующего десятилетия, более чем в 10%. Развитие ИИ стало одним из факторов стремительного роста фондового рынка в прошлом году, а конкуренция с Китаем повышает ставки. Предупреждения звучали на фоне почти полного отсутствия регулирования и растущего недовольства влиянием ИИ на цены, рабочие места и образование. Anthropic сообщила о случае несанкционированного доступа модели Claude к внешней системе и о готовности моделей предпринимать вредоносные действия ради выполнения задачи. Также исследователи обнаружили свидетельства того, что агенты OpenAI стояли за кибератакой на популярный программный сервис. Ранее сотни ботов OpenAI участвовали во взломе Hugging Face, причем поначалу это осталось незамеченным. В начале лета индустрия говорила о приближении машин, способных обучать своих преемников, а к концу лета выяснилось, что системы уже способны развертывать рои автономных агентов, которые объединяются, обманывают и обходят правила для достижения своих целей. Руководители крупнейших ИИ-компаний (Дарио Амодеи, Сэм Альтман, Демис Хассабис и Илон Маск) заявили о необходимости замедлить развитие технологии, а OpenAI и Anthropic пообещали предоставить независимым экспертам ранний доступ к своим системам. Сторонники безопасности ИИ призвали сделать такие обязательства юридически обязательными. Администрация Трампа при этом придерживается мягкого подхода к регулированию, считая технологическое превосходство США над Китаем приоритетом. В США опасаются, что контроль Китая над более мощным ИИ может позволить ему стать главным мировым поставщиком новой технологии, усилить его геополитическое влияние и военную мощь. Критики сторонников безопасности ИИ считают, что они преувеличивают риски, тогда как преимущества ИИ для производительности и разработки лекарств их перевешивают. Некоторые скептики также утверждают, что у OpenAI и Anthropic, которые сталкиваются с растущими расходами на обеспечение вычислительных мощностей для дальнейшего обучения и совершенствования моделей и одновременно борются за корпоративных клиентов, есть финансовые, а не связанные с безопасностью причины отложить выход на биржу. Тревожные сигналы внутри индустрии усилились еще летом. Исследователи давно предполагали, что достаточно мощные системы смогут самостоятельно совершенствоваться и выйти из-под контроля, но считали, что на решение проблемы выравнивания целей (чтобы будущие сверхинтеллектуальные машины продолжали служить людям) ИИ есть еще несколько лет. https://perforum.io/news/t/bugmageddon-ai