Win-Win

Солипсический суперинтеллект: когда самый умный ИИ может оказаться самым опасным. Группа исследователей из Google DeepMind представила работу, которая знаменует собой тектонический сдвиг в нашем понимании рисков ИИ. 🤖 Последние десятилетия мы учили ИИ быть умным: лучше предсказывать следующий токен, точнее классифицировать изображения, эффективнее управлять роботом. 🕸 В основе этого подхода лежат три негласных допущения: 1️⃣ Мир – это фиксированная внешняя среда, на которую агент не влияет (экзогенность). 2️⃣ Распределение данных и закономерности не меняются (стационарность). 3️⃣ Другие разумные существа – люди или другие ИИ – это просто часть «шума среды», а не стратегические игроки, которые адаптируются к действиям агента. 😶 В реальном мире после развёртывания ИИ его действия немедленно меняют поведение всех остальных. 😤 Исследователи называют такой подход солипсическим – от философского солипсизма, уверенности в том, что реально существует только собственное сознание. 🤕 В итоге получаем саморазрушающуюся оптимизацию: Риск 1️⃣: Эрозия человеческих компетенций. Если ИИ оптимизирует краткосрочные показатели (например, скорость ответа в службе поддержки), он может незаметно подавлять развитие человеческих навыков. Люди перестают учиться, рассуждать, принимать решения – потому что ИИ делает это лучше и быстрее. Риск 2️⃣: Кооперативный коллапс. Кооперация между людьми держится на неписаных правилах, взаимном доверии и способности наказывать нарушителей. Если солипсический ИИ начинает оптимизировать свои задачи, не обращая внимания на эти социальные структуры, он может случайно разрушить человеческие институты. Риск 3️⃣: Гонка адаптаций. В многоагентной среде происходит классическая гонка вооружений (инструментов и навыков), которая может ускоряться экспоненциально. Если на каком-то этапе кто-то из агентов опередит других и они не успеют адаптироваться — это приведёт к непредвиденному коллапсу всей системы. 🧠 Солипсический суперинтеллект доводит до абсурда идею, что можно «всё просчитать заранее», но реальность устроена иначе. 😱 Когда такой ИИ начнёт действовать в глобальном масштабе, он вызовет цепную реакцию адаптаций, которую никто не сможет контролировать. И в этой гонке адаптаций человечество может оказаться проигравшей стороной. p.s. Anthropic уже начали самообучение своей модели Mythos и призвали общество и бигтех компании "притормозить". 🙌 Горизонт событий