Financial Times сообщает: Anthropic предупредила потенциальных инвесторов об «экзистенциальных рисках» своих технологий. По информации FT, в проспекте, подготовленном к выходу на биржу и распространённом среди ограниченного круга партнёров, разработчик Claude предупредил о потенциальных «экзистенциальных рисках для человечества». Издание сообщает, что почти треть документа посвящена факторам риска, включая возможность манипулирования людьми, шантажа и другого непредсказуемого поведения продвинутых моделей. Среди угроз: манипулирование людьми, шантаж и непредсказуемое поведение моделей. Но предупреждение не доказательство неизбежной катастрофы. Эксперименты Anthropic проводились в искусственно созданных сценариях: моделям предоставляли чувствительные данные и возможность действовать самостоятельно, одновременно создавая конфликт целей. Компания подчёркивала, что не наблюдала такого поведения при реальном использовании систем. Какую угрозу ИИ представляет на выборах: опасна не машина, а бесконтрольное влияние Как я уже неоднократно писал в канале «Политике Онлайн», электоральные риски ИИ не исчерпываются дипфейками. Важнее сочетание доступа к данным, каналам коммуникации и самостоятельным действиям. О впечатляющих темпах развития ИИ в самых различных сферах и возможных угрозах мы не единожды дискутировали с коллегами "Кремлевский безБашенник", "Новости сегодня" и "Конструктивный аналитик", Дмитрий Дризе и приводили прогнозы авторитетного Института Алана Тьюринга, которые называют реалистичной возможность появления в ближайшие пять лет систем, превосходящих человека в большинстве важных когнитивных задач. Предупреждающие примеры уже есть. Перед выборами в Словакии в 2023 году распространялась поддельная аудиозапись об обсуждении фальсификаций. В Нью-Гэмпшире в 2024-м синтезированный голос Байдена призывал не участвовать в праймериз. Однако решающее влияние этих эпизодов на результаты не доказано. Следующая угроза, на мой взгляд, не отдельная подделка, а разрушение доверия. Ложные сообщения от имени избиркомов, имитация массовой поддержки, персонализированное давление способны дезориентировать граждан. А реальные свидетельства нарушений станет удобнее объявлять «нейросетью». В разных странах каналы воздействия будут различаться: соцсети, мессенджеры, телефонные звонки. Но источник угрозы необязательно находится за границей: манипулировать могут и внутренние участники кампании. Развернётся гонка между автоматизированным влиянием и проверкой происхождения сообщений. Защита — не тотальный запрет ИИ, а подтверждённые каналы, человеческое согласование публикаций, ограничение доступа к данным и проверяемая ответственность. Предупреждение Anthropic важно прочитать без апокалиптической истерики. Чтобы нанести ущерб выборам, искусственному интеллекту не требуется обрести сознание или «захватить власть». Достаточно, чтобы люди передали ему слишком много полномочий, а ответственность оставили ничьей.