Седьмая печать

Политолог Глеб Кузнецов подробно описал все прелести новой технологии "неравенство чёрного ящика" (НЧЯ) : В Штатах страховые компании используют алгоритмы, например, для определения длительности пребывания пациентов в стационаре или покрытия времени анастезии. Алгоритм систематически занижает необходимое время лечения в обоих случаях. Врач говорит "нужно продолжать", история болезни требует терапии — но модель решила иначе. Осложнения во время вмешательства, индивидуальные особенности организма — неважно. Время вышло, счёт пациенту. Алгоритм предсказал час, операция заняла полтора — ваши проблемы. Почему это работает? НЧЯ - не баг системы, а её апгрейд. Старая несправедливость оставляла следы, новая - непогрешима как Папа Римский. - Избирательность без следов. Все используют ИИ, но одних награждают, других дисквалифицируют. Критерий отбора невидим. Можно убрать кого угодно "за ИИ", наградить кого угодно, не заметив ИИ в работе. Добрый старый патронаж с фиговым листком технологий. - Распыление ответственности. Раньше человек решал и отвечал. Теперь "система показала". Кого винить? Программистов? Они следовали спецификации. Менеджмент? Они доверяют технологиям. Алгоритм? Он объективен. Ответственность испаряется. - Деморализация вместо мобилизации. Когда тебя открыто грабят, ты сопротивляешься. Когда непонятная система объявляет тебя неправильным — ты начинаешь сомневаться в себе. "Может в этом и есть великая сермяжная правда? Алгоритм же обучен на миллионах случаев". Газлайтинг, масштабированный до промышленных объёмов. - Алгоритмизация классовой сортировки. Кто проходит через чёрные ящики? Те, у кого есть культурный капитал, доступ к экспертизе, знакомый "авторитетный человек". Пациент без ресурсов получает отказ. С ресурсами – от денег на адвоката до связей – получает то, в чем нуждается. Адепты ИИ обещали объективность и справедливость алгоритмов. Получили маскировку произвола под технологическую нейтральность. НЧЯ эффективнее прежних методов именно непрозрачностью: жертва не может сформулировать претензию, угнетатель не несёт ответственности, система воспроизводится автоматически. Стоит спросить "почему?" тому, кто может добиться ответа, - конструкция рассыпается. Но те, кто могут спросить, как правило не только "в теме", но и "в доле" - сами обладают алгоритмизированными привилегиями. Модель выглядит чудесно устойчивой.