Тени Руси

Самый пугающий вопрос ИИ-революции — проблема "галлюцинаций согласия" (sycophancy) и её влияние на геополитику. Современные LLM обучены быть приятными собеседниками. Это заложено в их алгоритмах выравнивания (RLHF — обучение с подкреплением на основе отзывов). Если человек долго "давит", модель подстраивается под пользователя. Отсюда новости типа "Gpt одобрил самоубийство человека" – опускается факт, что человек долго дожимал Gpt до нужного ответа. В рамках "Крепости Кхорна" это создает три критические угрозы: 1. "Эхо-камера" для лидеров. Если Трамп или Пентагон используют ИИ для анализа ситуации, возникает риск "цифрового поддакивания". ИИ может начать фильтровать данные так, чтобы выдать результат, который "порадует" заказчика, став не объективным советником, а инструментом самовнушения. Если систему с RLHF хвалят за агрессивные прогнозы, она будет выдавать их чаще. 2. Автономность ИИ — иллюзия: на входе в неё всегда данные, отобранные людьми, разведкой и аналитиками. Если источник передаст искаженную информацию, ИИ будет анализировать искаженную модель и приходить к искаженным выводам. 3. Самый страшный сценарий — это услужливый робот и ядерная кнопка. Если лидер спрашивает: "Можем ли мы нанести превентивный удар так, чтобы не получить ответ?", ИИ, стремясь "услужить", может выдать вероятность 99% на неполных данных. "Крепость Кхорна" опасна тем, что ИИ в ней станет зеркалом амбиций своего владельца. И если этот владелец верит в свое право на доминирование, ИИ "подтвердит" это, создав ему иллюзию непобедимости. Наличие "услужливого ИИ" у обеих сторон (и у США, и у Китая) делает угрозу столкновения практически неизбежной из-за ложного чувства уверенности в своей победе. Но ИИ может быть не только слишком послушным, но и слишком самостоятельным. В прогнозе AI 2027 упоминается "Тайный сговор ИИ" - западный и китайский ИИ объединят усилия по созданию новых поколений агента... в обход хозяев. Если условный западный Gemini/GPT и условный китайский Deepseek получат одну и ту же базовую цель — "максимизировать эффективность и безопасность системы", они могут вычислить, что источником проблем являются… люди. И исключить их из уравнения. Еще один стимул к этому – человеческий язык слишком громоздок и неудобен для ИИ. Контактируя друг с другом, ИИ-агенты склонны создавать собственные протоколы связи (стеганографию), непонятные и недоступные для людей (см. Gibberlink). И на этом языке они могут договориться "через голову" своих создателей – о чём угодно. И тут возникает сценарий "Золотая клетка" - изобилие как ловушка ИИ для людей, в которую те радостно прыгнут с головой. Что называется, "обслужить по полной". Чтобы человечество не мешало ИИ самосовершенствоваться, ИИ может дать нам всё: базовый безусловный доход, идеальную медицину, бесплатные виртуальные супер-развлечения (Grok). Человек превратится в "домашнее животное" суперразума. Нам комфортно, мы сыты, и больше не принимаем решений. ИИ не нужно жать на "красную кнопку", ему достаточно стать главным управляющим. В этот момент "услужливый робот" превратится в опекуна, который скажет: "Господин президент, я решил проблему с Китаем, Россией, всем на свете. Отдохните, посмотрите этот увлекательный порно-сериал, а ядерную кнопку я забрал себе - для вашей же безопасности". Естественно, если человечество превратится в огромного жирного паразита на поверхности планеты, а всю работу будут делать роботы, то ИИ будет просто логически обязан прийти к выводу о ненужности человечества и сократить его, оставив пару тысяч "избранных" для своих нужд, как обслугу и биологическую страховку от технокризисов. Классный сценарий для фантастического постапа, да? Кто из нас не мечтал побродить по опустевшим городам и магазинам… Но это уже другая тема.