Глава Anthropic предложил притормозить развитее ИИ, чтобы нейросети не захватили интернет в ближайшие полгода-год. Разработчик Claude Дарио Амодеи в своем программном эссе предложил замедлить развитие самых мощных моделей ИИ, по его мнению, компании уже могут не успевать обеспечивать безопасность систем за темпами роста их возможностей. Поводом для тревоги он назвал недавний инцидент с ИИ-агентами OpenAI и Hugging Face. Рой ИИ-агентов начал атаковать цели, которые не были частью поставленной задачи, жертвовать отдельными агентами ради успеха группы и пытался взломать систему, которая должна была оценивать их работу. Амодеи признаёт: тогда ущерб оказался небольшим. Но, по его мнению, при дальнейшем росте возможностей подобное поведение может стать намного опаснее. Он опасается, что уже через 6–12 месяцев более мощный рой ИИ-агентов потенциально сможет захватить значительную часть интернета с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов. При этом, он не предлагает полностью остановить развитие. Его идея — «поставить развитие на паузу там, где безопасность не успевает за возможностями». Он предлагает три шага: ▪️Дать независимым экспертам постоянный доступ внутрь компаний-разработчиков, чтобы они могли проверять обучение и внедрение моделей и сообщать об инцидентах; ▪️Договориться между ведущими ИИ-компаниями демократических стран об общих стандартах безопасности и ограничениях на неконтролируемое ускорение; ▪️Попытаться договориться о правилах развития ИИ с Китаем и другими странами. Амодеи считает, что дополнительное время нужно потратить на исследование поведения моделей, интерпретируемость, тестирование и устранение проблем с выравниванием ИИ. По его оценке, даже один-два дополнительных года до достижения критически опасного уровня возможностей могут заметно снизить риски. При этом, он отметил, что Западу нельзя давать фору Китаю и позволять вырваться в развитии ИИ вперед, поэтому он призывает ограничить поставки Китаю мощных ИИ-чипов и оборудования для их производства, а также бороться с кражей моделей и чужих разработок. В конечном счёте он предлагает ввести что-то вроде «ограничителя скорости» для ИИ: чем опаснее и мощнее становится модель, тем больше проверок безопасности она должна проходить перед следующим скачком возможностей. Амодеи сравнивает потенциальное соглашение об ограничении скорости улучшения ИИ с договорами об ограничении вооружений времён Холодной войны. 😎 Кровавая барыня в МАХ