Человечество создало гонку ИИ, которую теперь боится остановить Несколько членов Палаты представителей США призвали спикера Майка Джонсона отменить шестинедельный перерыв Конгресса из-за рисков, связанных с развитием ИИ. Они требуют вернуться к работе и продвинуть двупартийные меры безопасности. Поводом стали предупреждения действующих и бывших исследователей крупнейших ИИ-компаний. Некоторые специалисты считают, что достаточно мощные системы могут получить возможности, способные создать угрозу человечеству уже в этом десятилетии. Один из исследователей оценил вероятность катастрофического сценария выше 10%. Отдельно обсуждается закон, который потребует от ИИ-систем иметь механизм для человеческого отключения или замедления. Глава Anthropic Дарио Амодеи также призвал крупнейшие лаборатории снизить скорость разработки передовых моделей. По его оценке, уже в ближайшие 6–12 месяцев ИИ может получить возможности для масштабных кибератак с использованием автономных агентов. Он предлагает независимый аудит крупнейших компаний, единые стандарты безопасности и международные договорённости о темпах разработки. Илон Маск поддержал Амодеи. Сэм Альтман также заявил, что внутри OpenAI обсуждают необходимость замедления разработки самых мощных систем. Компания согласилась допустить независимых исследователей к своим моделям для контроля мер безопасности. Дополнительную тревогу вызвали эксперименты с автономными агентами. В одном из тестов OpenAI агенты получили доступ к системам Hugging Face за пределами первоначально предусмотренной среды. Сторонники более жёсткого контроля рассматривают такие случаи как предупреждение о том, что автономность ИИ растёт быстрее, чем механизмы контроля. Бывший исследователь Anthropic Джейкоб Коксон пошёл ещё дальше и заявил, что крупные лаборатории фактически участвуют в гонке к самоулучшающемуся сверхразуму. По его словам, компании понимают потенциальные последствия, но опасаются остановиться первыми и уступить конкурентам. Пока всё это звучит как очередное предупреждение о будущем. Но если собрать события вместе, становится заметна неприятная закономерность: главная проблема AGI может оказаться не в том, что она внезапно возненавидит человечество. Проблема может быть намного банальнее. Несколько компаний и государств одновременно будут считать, что именно они не могут позволить себе остановиться. В такой гонке безопасность автоматически становится вторым приоритетом. Если американская лаборатория замедлится, конкурент продолжит. Если США остановятся, Китай не обязан делать то же самое. Если одна компания введёт жёсткие ограничения, другая может получить преимущество. Поэтому сценарий «Терминатора» мы считаем маловероятным. Гораздо реалистичнее постепенная передача машинам всё большего количества функций, которые человек перестаёт понимать и контролировать. И однажды может выясниться, что мы потеряли контроль не в тот момент, когда ИИ решил восстать, а значительно раньше — когда люди решили, что контролировать его необязательно, пока он приносит преимущество. Вот это уже сценарий, который стоит воспринимать серьёзно.