ИИ начал ускорять создание следующего ИИ — именно этого все боялись. На днях глава Anthropic Дарио Амодеи заявил, что примерно с этого лета развитие AI резко ускорилось: модели всё активнее участвуют в создании следующего поколения моделей — пишут код, генерируют данные и задачи для обучения, оценивают результаты и улучшают сам процесс разработки. Он называет это началом рекурсивного самосовершенствования и предупреждает, что такой цикл может ускориться быстрее, чем люди успеют его контролировать. Поэтому Амодеи предлагает замедлить развитие самых мощных моделей: пустить независимых аудиторов внутрь AI-компаний, согласовать общие стандарты безопасности и попытаться договориться об ограничениях на международном уровне. Идею публично поддержали Сэм Альтман, Илон Маск и Демис Хассабис. И почти одновременно китайская Z.AI привлекла $5 млрд, которые хочет направить на Fully Self-Training — систему, где модель будет всё больше сама создавать данные, задачи и среду для собственного обучения. То есть в США уже обсуждают, как притормозить самоускорение ИИ, а в Китае вкладывают в него миллиарды 😶