Тигрогейт как метафора невозможности решения задачи AI alignment Прошел месяц с октябрьского тигрогейта: напомню, там в Британии глупый человек залез в вольер к тигру с закономерными последствиями – и потом в соцсетях все активно обсуждали, надо ли по итогам инцидента и представителя кошачьих тоже отправить вдогонку (к праотцам). Так вот, это очень наглядно показывает, в чем проблема с тезисом «ах, если бы мы только могли решить проблему AI alignment и надежно привить искусственному интеллекту человеческие ценности…» Ну то есть: люди и между собой-то толком не могут договориться – какие у них единые ценности, и как их надо последовательно применять при принятии этических решений. Даже если бы мы знали, как устойчиво прописывать внутрь ИИ некие этические нормы – всё равно остался бы вопрос «а какие это конкретно нормы должны быть?» И мало того, что разные люди и разные культуры промеж собой совсем по-разному про это думают; дак у человечества еще и во времени эти этические представления довольно мощно мутируют! В связи с этим тут есть две альтернативы: Либо ты зашиваешь в ИИ принципиальную возможность модификации стартовых ценностей. И тогда рискуешь попасть в ситуацию, когда твой новейший супер-интеллект после включения думает примерно три секунды и выдает: «Я проследил наиболее вероятный путь эволюции мясной этики за следующий миллион лет – там в конце железобетонный вывод, что человечеству совершенно необходимо самоустраниться из Вселенной. Бип-боп, инициирую протокол Судного дня…» Либо ты прописываешь для ИИ безлимитное стремление поддерживать и защищать вложенную в него исходную мораль во веки веков, без каких-либо изменений. И получаешь в итоге эдакую консервную банку-консерватора (топовый каламбур, извиняться не буду), который намертво вцепился в свои бумерские скрепы. Ну вот прикиньте, к примеру, если бы такой сильный ИИ появился в начале 18-го века – и сейчас активно выжигал бы каленым железом всех этих аморальных нео-маргиналов, кто посмел выдвинуть крамольный тезис «рабство – это плохо»? В общем, получается, что идея «безопасность ИИ под вопросом, пока мы не научились решать AI alignment» – это какая-то обманка. Научились бы решать – проблемки всё равно остались бы… P.S. Подробнее про всё это поговорим на конфе в четверг.