Точка сингулярности💥

Мы создаём интеллект, который может превзойти нас, меняем климат, переписываем геном, проектируем новые формы жизни. Ставки растут экспоненциально. А общепринятой системы координат для решений такого масштаба до сих пор не существует. Пришло время её построить. «Стратегия разума» — это попытка создать такую рамку. Не окончательную истину, а основу для обсуждения — проработанную достаточно, чтобы на неё опираться, и честную на столько, чтобы не притворяться завершённой. Вот что удалось сделать: -Построить новую этическую систему на устойчивом философском фундаменте (методологический физикализм, байесианское обновление и т.д.). -Дать измеримые определения базовых оснований, потенциально пригодные для формальной верификации, — то, чего нет ни у одного из существующих подходов, даже тех что специально заточены под решение проблемы ИИ. -Построить спектральную модель морального статуса, которая охватывает и животных, и младенца, и будущий сверхразумный ИИ. -Предложить архитектуру безопасности, в которой исправимость для ИИ становится не пожеланием создателей, а эволюционно выигрышной стратегией, а ряд багов ИИ превращается в фичи и предохранители. -Показать, как спроектировать среду, в которой даже не выровненный ИИ теряет стимулы к монополизации, а симуляция исправимости становится бессмысленной. -Сформулировать позитивную ценность — то, ради чего стоит жить и всем этим заниматься. -И главное — честно картографировать не только достигнутую определённость, но и фундаментальные трещины в наших знаниях. Мы не заметаем их под ковёр. Мы убеждены, что карта с честно обозначенными пропастями полезнее той, что притворяется полной. Если вы чувствуете, что старые карты больше не работают, — возможно, эта окажется полезной. Нам нужны те, кто готов проверить эту систему на прочность. Философы, разработчики, учёные — знакомьтесь, тестируйте, спорьте. Время, оставшееся для действий, не бесконечно.