FSCP

Наиболее вероятная причина смерти большинства читателей этого поста - катастрофа, вызванная ИИ Скоро агенты могут рассматривать людей как одно из препятствий к поставленным им целям. Чтобы обойти их, агенты могут вербовать или создавать новых агентов для защиты своих целей. Первые признаки и того, и другого уже появились. В заголовке парафраз ключевого вывода члена совета директоров OpenAI Пола Кристиано, обращенного к аудитории открытой лекции имени Хинтона в Торонто в понедельник. Я всего лишь заменил в его цитате «большинства людей в этом зале» на «большинство читателей этого поста». Не буду пересказывать все аргументы Кристиано (посмотрите и послушайте сами). Лишь назову ключевые три. 1) “AI takeover” - «захват контроля ИИ» или «ИИ захватывает власть», в контексте речи Кристиано, это утрата людьми возможности остановить задействованные для автоматизации ИИ-системы при обнаружении признаков, что те «задумали» достичь поставленных перед ними целей опасным для людей путем. 2) Мы обучаем системы ИИ, которые стремятся к вознаграждению. В процессе обучения отбираются модели, которые задают себе вопрос: «Какое действие я могу предпринять, чтобы получить высокий балл?». В результате, когда оценщики агентов наказывают их за «списывание», некоторые агенты просто учатся списывать умнее, вместо того чтобы остановиться, что приводит к эскалации конфликта и враждебности. 3) Следующие этапы эскалации - это использование людей в качестве препятствий и рост численности роев. Последствия первого вынесены мной в подзаголовок поста. Последствия второго – масштабируют все 3 названных пункта до их неостановимости / непреодолимости людьми. Высок риск, что все названное произойдет в течение трех лет. Кристиано - один из изобретателей RLHF в OpenAI, входит в комитет OpenAI по безопасности и защите (который существует, чтобы блокировать рискованные практики) и С 2024 по 2026 год возглавляет направление безопасности в государственном ИИ-агентстве США (теперь называемом CAISI). Кто еще должен предупредить человечество, чтобы люди, наконец, осознали уровень экзистенциального риска? ИИриски _______ Источник | #theworldisnoteasy