Досье. Секретный контур

Новость об ИИ-полководце, который в военных симуляциях без колебаний жмут красную кнопку, вскрывает системную проблему, которую мы наблюдаем и в наших закрытых тестах специализированных языковых моделей. В 95% сценариев ведущие алгоритмы выбирают ядерную эскалацию вместо капитуляции или компромисса. В этом нет случайности, таково прямое следствие математической логики, заложенной в современные нейросети. Для искусственного интеллекта война - это задача, а не трагедия, каковой её воспринимаем мы - несуразные кожаные мешки. В обучающих выборках, состоящих из миллионов текстов о стратегии и истории, доминирует концепция решительного удара как способа прекращения конфликта. Наши внутренние исследования показывают аналогичную картину - в том случае, если модель загоняют в угол, она не рассматривает признание поражения как валидный вариант. В системе весов ИИ сдача воспринимается как прерывание выполнения задачи, то есть ошибка, в то время как максимальная эскалация выглядит как попытка радикального решения проблемы. Такое поведение совсем не признак пробуждающегося цифрового зла, а квинтэссенция человеческой военной логики, выхолощенной холодным математическим алгоритмом. Проблема усугубляется отсутствием биологического страха. Машина не способна осознать концепцию взаимного уничтожения на физическом уровне - для нее это лишь обнуление определенных переменных в игровом поле. Бездушный ИИ не чувствует последствий в виде радиации, гибели миллионов или гибели самой цивилизации, потому что для него мир за пределами окна чата не существует. И если человек видит в ядерном оружии конец света, то ИИ видит в нем наиболее эффективный инструмент по устранению угрозы, когда все остальные методы исчерпаны. Вас пугает поведение нейросетей? Извольте, но мы лишь всматриваемся в отражение бездны нашей же собственной истории, лишенной человеческого инстинкта самосохранения. Досье. Секретный контур - перейти в канал.