АСАФОВ

🧠 Vox Machina: как сети автономных ИИ-ботов угрожают обществу В конце 2024 года — особенно по итогам президентской кампании в США — экспертное сообщество забило тревогу о новом феномене, появившемся благодаря эволюции технологий ИИ. Речь идет о "роях" или "сетях" ИИ-ботов, созданных при помощи интеграции автономных агентов и больших языковых моделей (LLM), которые способны без участия человека координировать информационные кампании на цифровых платформах и проникать в чаты и сообщества в социальных сетях, искусственно модерируя "общественный консенсус". 📍Эволюция технологий Если раньше "фабрики ботов" (а до них "фабрики троллей") требовали огромных человеческих ресурсов и в своей эффективности и скорости упирались в человеческий фактор (согласно исследованию Центра социальных медиа и политики при Нью-Йоркском университете, в 2016 году 70% фейкового контента в Twitter увидел всего 1% пользователей), то сети ИИ-ботов осуществляют свою деятельность непрерывно, обучаясь и адаптируясь к реакциям живых людей в реальном времени. В отличие от примитивных ботов прошлого, которые легко вычислялись алгоритмами по скопированным текстам, современные сети ИИ-ботов создают и постоянно ведут реалистичные аккаунты на цифровых платформах, имитируя "цифровые личности" с собственной историей и памятью. Они способны генерировать контекстный контент, использовать специфический сленг конкретного сообщества и самостоятельно менять тональность своего общения, а главное — множество таких ботов могут одновременно участвовать в сотнях, если не тысячах диалогов. Таким образом, они создают иллюзию массовой поддержки той или иной идеи, заставляя реальных граждан менять свое мнение под давлением мнимого "мнения большинства". 📍Глубокая инфильтрация Помимо манипуляции общественным мнением, подобные сети ИИ-ботов могут намеренно генерировать и продвигать фейковый контент, который благодаря специальным поисковым роботам (т.н. веб-краулеры) впоследствии попадет в датасеты и станет основой для обучения будущих поколений ИИ. Данная стратегия уже получила свое название — "LLM-груминг" (умолчим о том, к чему нас отсылает эта скабрезная отсылка). Таким образом, возникает техническая возможность внедрять и закреплять те или иные нарративы прямо "внутри" уже используемых миллионами людей нейросетей, оказывая влияние на пользователей в процессе их взаимодействия с чат-ботами. Еще одним способом применения сетей ИИ-ботов является скоординированная травля на цифровых площадках неугодных политиков, журналистов или активистов. Внешне это выглядит как стихийный гнев пользователей, но на деле — это тысячи централизованно управляемых ИИ-персонажей, цель которых — заставить мишень в страхе покинуть публичное пространство. Как следствие в обществе нарастает неуверенность, пользователи теряют доверие к цифровым платформам и общественным дискуссиям, переходя в небольшие закрытые группы. 📍Безопасность или конец приватности? Для противостояния этой угрозе эксперты предлагают сместить фокус с модерации "правдивости" информации на цифровых площадках в пользу выявления (возможной) скрытой координации активности пользователей и внедрения автоматизированных механизмов для маркировки подозрительного контента. Также предлагается использовать экономическое воздействие: эксперты призывают "бить рублем" и отключать платформы-нарушители от рекламных рынков и магазинов приложений, а также лишать сгенерированный сетями ИИ-ботов контент любой монетизации. Однако адаптивная природа информационных атак со стороны сетей ИИ-ботов неминуемо потребует и повышения прозрачности для самих пользователей, что включает внедрение строгих стандартов их верификации, в т.ч. с помощью сканирования лица, проверки личных документов и использования криптоключей. Хотя подобные требования к проверке личности и могут серьезно снизить эффективность вредоносного ИИ, оборотной стороной этих мер станет радикальная трансформация интернета, которая положит конец эпохе цифровой анонимности. АСАФОВ в MAX