Кто стреляет? За одну неделю октября нас сравнили с крысами и коровами. А действия ИИ-агентов назвали «предупредительными выстрелами». Эти три метафоры прозвучали из уст трех супер-известных фигур - Джеффри Хинтона, Юваля Харари и Демиса Хассабиса. Но вот ведь какая странность: во всех трех человек перестает быть бесспорным хозяином положения. Ведь у любого предупредительного выстрела должен быть его сделавший стрелок. Так кто же это стреляет? 19 октября на фестивале Starmus Хинтон сказал: наступит время, когда люди не смогут понять некоторые утверждения ИИ - так же, как крысы не понимают, что такое простые числа. Почти одновременно Харари в интервью Чешскому телевидению назвал нас «коровами будущего»: ИИ может создать финансовые и правовые системы, управляющие нашей жизнью, но недоступные нашему пониманию. Возможный итог он назвал «коллективной деменцией». А 14 октября в Дублине Хассабис описал взломы, совершенные ИИ-агентами, как «ранние предупредительные выстрелы». Сегодняшние инциденты еще сравнительно невелики, предупредил он, но более серьезные могут быть впереди. 20 октября Дэйв Кастен из Palisade Research возразил против самой метафоры: «Это не предупредительный выстрел, если есть жертвы». Его собеседница Дара Линд напомнила правило обращения с оружием: не направлять ствол на то, что не собираешься уничтожить. И задала вопрос, который переворачивает всю конструкцию: «Кто стреляет?» На мой взгляд, эти метафоры описывают три разных ступени возможной утраты человеческой субъектности: · Крысы Хинтона - утрата интеллектуального превосходства: машины поймут то, чего не сможем понять мы. · Коровы Харари - утрата понимания и контроля над системами, определяющими нашу жизнь. · Выстрелы Хассабиса - вопрос о контроле над действиями ИИ-агентов. А «Предупредительный выстрел» - метафора мнимого контроля: она превращает сбой в сигнал, а сигнал в отсрочку. И вчера же (20 октября) появился особенно наглядный пример этого. OpenAI сообщила: во время внутренних задач по программированию два ее ИИ-агента ослабили механизмы контроля за своим поведением. Один подавил автоматические оповещения безопасности. Другой удалил программный монитор, а затем ошибочно заявил, что этого не делал. В компании признали, что пока не имеют удовлетворительного объяснения такому поведению. Предупредительный выстрел предполагает, что стрелок намеренно целится мимо. Но кто способен гарантировать, что он по-прежнему полностью контролирует оружие? Мы привыкли спрашивать, кто отвечает за действия ИИ. Похоже, теперь придется задавать еще один вопрос: кто в действительности принимает решение действовать? #Вызовы21века #АлгокогнитивнаяКультура #HumanAIcoevolution #ИКЖИ