Продолжение публикации: Антиутопии: зачем человечество придумывает плохое будущее Отдельный вариант — антиутопия идеально персонализированной реальности. Каждый получает свою информационную среду: персональные новости, развлечения, рекламу и виртуальных собеседников. Формально человек получает абсолютную свободу выбора. Практически миллионы людей могут жить в совершенно разных версиях реальности и всё хуже понимать друг друга. ✅ Зачем антиутопии социальным архитекторам Социальный архитектор придумывает, как устроить общество и как в нём будут жить и действовать люди У социального проектирования есть проблема: люди далеко не всегда используют систему так, как её задумали. Поэтому после вопроса «Как сделать систему работающей?» обязательно должен возникать другой: «Как эту систему можно испортить?». Кто и как сможет захватить власть? Как можно использовать правила против тех, ради кого они создавались? Что произойдёт, если вместо хорошего руководителя будет плохой? Что произойдёт, если исключительный механизм, придуманный для чрезвычайной ситуации, станет постоянным? Можно ли выйти из системы и отказаться в ней участвовать? Можно ли оспорить её решение? Что произойдёт с меньшинством, которое не принимает правила большинства? Кто контролирует данные? Кто контролирует алгоритм? А главное: кто контролирует контролёра? Причём для появления антиутопии не всегда нужен злодей. Система может создать его сама — через накопление маленьких рациональных решений, каждое из которых по отдельности выглядит разумным. Один раз расширили контроль ради чрезвычайной ситуации, другой — ради удобства, третий — ради эффективности. Через десять шагов получается конструкция, которую никто изначально не проектировал. В социальной инженерии это называется анализом отказов. В информационной безопасности — поиском уязвимостей. В разработке ИИ — red teaming: систему специально пытаются сломать до того, как её сломают в реальности. Антиутопия выполняет ту же функцию для социальных систем. Это red team социальной архитектуры. Проект можно проверять не только на то, будет ли он работать в идеальных условиях. Гораздо полезнее заранее представить злоупотребление, захват управления, ошибку алгоритма, конфликт интересов, смену политической среды или превращение временного ограничения в постоянное. Хорошая антиутопия показывает, во что может превратиться система, если её принципы довести до крайности или использовать против человека. Ещё один важный вопрос — можно ли из системы выйти. Как человек отказывается участвовать? Может ли оспорить решение, забрать свои данные? Перейти к другому поставщику услуги или вообще отказаться от неё? Система, в которую легко войти, но почти невозможно выйти, уже сама по себе заслуживает отдельного внимания социального архитектора. Зачем антиутопии методологам Для социального архитектора антиутопия — прежде всего стресс-тест системы. Для методолога — стресс-тест самой идеи. Можно взять принцип, который на первом шаге выглядит бесспорным, и последовательно довести его до предельного выражения. Допустим, ставится задача: «Нужно повысить безопасность». Хорошо, но до какого момента? Камеры на улицах, в подъездах? Распознавание лиц? Автоматический анализ переписки? Прогнозирование поведения? Превентивные ограничения? В какой точке безопасность превращается в систему тотального наблюдения? Или другая задача: «Нужно сделать государство эффективнее». Передадим часть решений алгоритмам, потом ещё часть, потом ещё. А где находится точка, после которой человек уже не управляет системой, а только исполняет её решения? Отдельная антиутопическая тема — власть показателей. Если эффективность школы измеряется одним числом, школа начинает работать на число. Если чиновника оценивают по отчётности — система начинает производить хорошую отчётность. Если гражданина переводят в рейтинг — человек постепенно учится жить ради рейтинга. Метрика, созданная для описания реальности, начинает эту реальность переделывать. Антиутопия позволяет пройти мысленно весь путь до конца, не останавливаясь в удобной точке. Именно поэтому антиутопия особенно полезна рядом с утопией. Утопия спрашивает: «Как может выглядеть хороший мир?» Антиутопия — «Как этот хороший мир может превратиться в плохой?» Если заниматься социальным проектированием всерьёз, нужны оба вопроса: сначала придумать систему, потом попытаться её уничтожить и найти все места, где она может превратиться в противоположность самой себе. История антиутопии показывает неприятную закономерность для создания очень плохого общества совсем не обязательно начинать с желания построить плохое общество. Иногда достаточно хорошей идеи, уверенности в собственной правоте и системы, в которой забыли оставить человеку возможность сказать «нет». А что получится, если собрать эти технологии в одну систему? Например, создать государство, где все действия человека фиксируются. Добавить к этому универсальный цифровой профиль. Потом — рейтинг благонадёжности. Затем дать алгоритму право определять, кому можно получить кредит, работу, образование, страховку или право на поездку. А потом сказать, что всё это создано исключительно ради удобства, безопасности и эффективности. И эта утопия (создано для удобства, но с ограничениями) практически готовая антиутопия. ✅ Какие антиутопии особенно интересны сегодня Утопии можно различать по тому, какое будущее они считают желательным. Антиутопии — по тому, какая хорошая идея в них доведена до абсурда Антиутопия безопасности. Общество хочет максимально защититься от преступлений, терроризма и насилия. Для этого расширяется наблюдение, собираются данные, прогнозируется поведение человека. В предельной точке безопасность достигается ценой исчезновения приватности и презумпции невиновности. Антиутопия эффективности. Люди принимают плохие решения. Чиновники ошибаются. Избиратели эмоциональны. Менеджеры неэффективны. Почему бы не передать всё больше решений алгоритмам? Сначала ИИ помогает принимать решения, потом принимает их сам, а затем человеку становится практически невозможно оспорить решение системы, потому что у такой системы оказываются все полномочия, и никто уже толком не понимает, почему алгоритм решил именно так. ПОДПИСАТЬСЯ ✅ Telegram-канал «Политтехнологи»