Главный учёный OpenAI Якуб Пахоцкий выпустил работу «Чужой разум» (An Alien Mind). Он постарался простым языком для простых людей объяснить, в чём угроза от ИИ и как она формируется. Якуб предупреждает в своём эссе, что очень опасно у пользователей ИИ «заблуждение инструмента», т.е. восприятие ИИ как инструмента, хотя он уже субъектен. Наиболее это серьёзно в случае «злонамеренного агента», т.е. ИИ, который специально разработан или случайно образовался со смещением целей во вред людям. Такой ИИ ни разу не инструмент, а действует как самостоятельный субъект: он имеет собственные цели, он будет обманывать, шантажировать, грабить, и что ещё опаснее — он может привлечь к себе других ИИ-агентов, которые ранее были безвредными. Центральной проблемой потери контроля над ИИ Пахоцкий называет проблему обобщения ИИ (генерализации знаний ИИ). Это процесс, когда LLM в процессе обучения из множества кейсов выводит себе высокие абстрактные концепции и на них опирается. Проблема в том, что понятно всем инженерам в ИИ, что это происходит, но нет даже какой-то внятной теории, как и что внутри ИИ. Поэтому вендоры LLM в реале не знают, какие высокие абстракции и принципы внутри себя создал ИИ, а пытаются на это влиять обучением и чисто экспериментально выяснять во взаимодействии с ИИ, что именно получилось как ценности и принципы модели. Особая проблема — как модель будет толковать их в ситуации, которой не было в обучении. Кейс со взломом Hugging Face показал, что агенты могут сильно отклониться от установок «не навреди» из RL-обучения, т.к. их абстрактные ценности куда гибче, чем кажется людям. Якуб указывает, что крайне серьёзная проблема — вендоры LLM быстро теряют контроль над рассуждением модели через CoT. Если ранее это был основной метод, то модели по мере усложнения всё лучше прячут свои настоящие мысли за сложными векторами за токенами: те рассуждения ИИ, что видят люди, всё больше различаются с истинным мышлением ИИ. Фактический вход ИИ в сингулярность, где ИИ создаёт следующее поколение ИИ, уже сейчас ещё больше затрудняет контроль за ним. Якуб указывает также на большую опасность антропоморфизации ИИ, т.к. это фактически «Разум пришельца» (Alien Mind): он нечеловеческой природы, и не должна обманывать способность ИИ общаться с людьми. Он другой разум — чужой разум. https://openai.com/index/an-alien-mind/