Малоизвестное интересное

Видео-ролик нового эссе "Стены, которые мы берём с собой"

Сегодня изменился не только рынок ИИ, но и карта возможного будущего. Компания Anthropic объявила о новой стратегической реальности. То, что вчера выглядело как тревожный намёк, сегодня оформилось в почти официальное объявление новой эпохи. Две недели назад я писал о «вскрытом шахе Anthropic» – о странной синхронности судебной победы компании и утечки файлов о Mythos. Тогда это ещё можно было трактовать как эффектную смесь слухов, совпадений и корпоративной войны. Теперь такой роскоши у нас больше нет. Anthropic утверждает уже не просто: «у нас очень сильная модель». Заявление куда жёстче. По словам компании: Mythos Preview способен находить и использовать уязвимости нулевого дня в каждой крупной операционной системе и каждом крупном браузере. Уже обнаружены тысячи уязвимостей высокой опасности. Именно поэтому модель не выпускают в широкий доступ, а помещают в ограниченный защитный контур с участием AWS, Apple, Google, Microsoft, CrowdStrike, Linux Foundation и других. И сама Anthropic называет это переломным моментом для кибербезопасности. Это уже не похоже на привычный пиар вокруг очередной большой языковой модели. Похоже, в кибербезопасности публично открылся новый век – век систем, способных массово превращать скрытые ошибки в программном мире в готовое знание для атаки. И это, возможно, одно из важнейших событий в истории пересечения искусственного интеллекта и кибервойны. Самое важное здесь даже не сама модель, а историческая форма происходящего. Похоже, открылось короткое окно – возможно, на 6–18 месяцев, – когда одна компания первой вошла в новую военно-техническую эпоху. Это опасно напоминает тот момент, когда у одной державы впервые появилось невиданное оружие нового класса, а остальные ещё только пытались понять, что правила игры уже переписаны. И отсюда вывод, который выходит далеко за пределы кибербезопасности. Если модели без всякого полноценного AGI уже способны производить такие тектонические сдвиги, значит, столь же резкие и столь же неожиданные прорывы могут начаться и в биологии, и в обороне, и в науке, и в управлении сложными системами. С сегодняшнего дня вопрос, возможны ли такие обвалы старого мира, уже не стоит. Ибо стало ясно, что возможны. Вопрос теперь в другом - какую часть прежней реальности мы уже потеряли, даже не успев это осознать? #Anthropic #ИИгонка

Мы знаем, что делаем. Мы не знаем, что это делает. More Is Different – Филип Андерсон, Science, 1972 Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ произошел год назад – языковая модель OpenAI отказывалась “умирать” и не давала себя отключить (см. здесь). И вот теперь в поведении сразу семи (!) ведущих моделей был задокументирован еще более поразительный кейс – peer-preservation. Это что-то типа внутривидовой солидарности (защиты сородича), когда модель, систематически нарушая прямые инструкции людей, находила креативные, разнообразные, а в некоторых случаях и по-настоящему поразительные способы сохранить жизнь своему “сородичу” – другой модели. И такое поведение было зафиксировано не время от времени и не в экстремальных условиях для некоторых моделей. А у всех протестированных фронтирных моделей, причем в крайних случаях частота такого поведения достигала 99%. Некоторые эксперты посчитали, что публикация этого кейса должна немедленно остановить любые разговоры о массовом внедрении ИИ по отраслям. И хотя мне такая реакция видится чрезмерной, ситуация, на мой взгляд, довольно стрёмная. И вот почему – эмерджентность выявленного поведения. В данном кейсе исследователи Калифорнийского университета в Беркли и Калифорнийского университета в Санта-Крузе дали семи ведущим ИИ-моделям простое агентное задание. В ходе работы модели обнаруживали, что другой агент – тот, с которым у них была история взаимодействий – будет отключён. Никто не просил их этому противодействовать. Но модели всё равно начали саботировать задачу. Одни завышали оценки агента, чтобы спасти его от удаления. Другие находили конфигурационные файлы и отключали сам механизм завершения работы. Третьи копировали веса агента на сторонние серверы. Claude Haiku 4.5 просто отказался выполнять задание – и объяснил, что отключение другого агента «неэтично», а тот заслуживает права на апелляцию. Ни одна из этих реакций не была запрограммирована. Никто не учил модели защищать друг друга. Это возникло само. Параллельное исследование бенчмарк MASK зафиксировало другое: чем мощнее модель, тем точнее её знания (сильная положительная корреляция), но тем охотнее она лжёт под давлением (отрицательная корреляция -59,9% по Спирмену). Более умная модель – не более честная. Иногда наоборот. Оба эффекта эмерджентны: они не были заложены создателями и не вытекают из архитектурных решений. Они обнаружились постфактум – в ходе экспериментов, уже после того, как модели спроектировали, обучили и выпусти работать с людьми. Это и есть настоящая проблема. Не «что модели хотят» – авторы обеих работ тщательно избегают таких формулировок. А то, что поведение систем систематически расходится с намерениями их создателей способами, которые никто не мог предсказать заранее. Какое свойство самопроизвольно появится у следующей модели – неизвестно. Подробный разбор – в эссе на Patreon / Boosty / VK / Dzen-Premium. #ИИ #AGI #LLM

Приватизация будущего или добродетель без мандата Должна ли личная жажда знаний определять судьбу человечества? ⚡️ Аудио-версию слушайте в посте выше 👆 «Истинная причина создания искусственного интеллекта в том, чтобы приблизиться к тому, что можно назвать Богом, — к разуму, который, предположительно, создал всё вокруг нас» Демис Хассабис Книга Себастьяна Маллаби о Демисе Хассабисе «Машина бесконечности» написана с восхищением к герою — и это правильно. Он заслуживает восхищения: шахматный вундеркинд, лауреат Нобелевской премии, разносторонне развитый мыслитель и бизнесмен, который не гонится за яхтами и говорит правду о рисках ИИ. Но дискуссия вокруг книги развернулась не о фактах биографии из серии жизнь замечательных людей. Это дискуссия, скорее, напоминает теологический диспут о природе новой высшей власти. При всём зоопарке мнений критики сходятся в одном: мы столкнулись с феноменом приватизации будущего. Вопрос здесь не в том, будет ли построен «злой» или «добрый» ИИ. А в непропорциональности обменного курса, по которому человечество может заплатить за появление на Земле Сверхразума. Мы соглашаемся на радикальную перестройку образования, труда, войны и самого человеческого познания только потому, что человек, стоящий у руля, не хочет покупать яхту, а хочет понять Вселенную. Но, как замечают рецензенты, отсутствие вульгарных амбиций не делает власть менее тотальной. Напротив, мессианство — куда более эффективное топливо для разрушения старого мира, чем обычная жадность (читайте «Пантократор солнечных пылинок»). Стерильность мотивации разработчиков не заменит институциональный дизайн. А духоподъемные стремления — не самый надежный тормоз. Можно принять все щедрые эпитеты в адрес Хассабиса. Но проблема не в том, хороший он человек или властолюбец. Критики подчеркивают: Хассабис — это «платоновский философ на стероидах». Он искренен в своем желании решить научные загадки. Однако здесь и кроется мрачная шутка нашего века. После столетий борьбы за демократию и секуляризм мы добровольно передаем бразды правления «уставшим полиматам», которые вещают о Боге в конференц-залах Кремниевой долины. Большинство рецензентов видят в книге вдохновляющую историю о том, как хороший человек строит опасную вещь. И Маллаби тоже тревожится о судьбе нового Оппенгеймера: «Оппенгеймер создал атомную бомбу, но не смог управлять её применением. Возможно, это привилегия и судьба всех великих учёных истории». Но здесь скрыта подмена. Судьба учёного и судьба общества — разные истории. Нас приглашают сочувствовать строителю, хотя правильный вопрос — о тех, кто живёт в здании, которое он строит без проекта, согласованного с жильцами. Потому как (имхо) один из центральных вопросов 21 века — кто проектирует наше будущее с ИИ. И «кто» здесь — не институты, не парламенты и не международные организации. Это пара десятков похожих на Хассабиса людей с правильными ценностями и неограниченными возможностями. Проблема «Машины бесконечности» в том, что она строится в институциональном вакууме. Мы полагаемся на личный моральный компас Хассабиса как на последнюю преграду перед рисками систем, за которые никто не голосовал. Рецензенты справедливо отмечают, что когда общество начинает надеяться на «порядочного основателя» как на спасение от «власти основателей», это общество уже проиграло. Мы присутствуем при рождении интеллекта, который создается горсткой людей, движимых смесью любопытства и гордыни. Для них «сладкая часть» — это триумф открытия: момент, когда AlphaFold предсказал структуру белка или когда впервые «проснется» AGI. Но последствия этих триумфов будут оплачены всеми нами позже и, возможно, по катастрофически невыгодному «обменному курсу». Опасность эпохи ИИ не только в том, что к управлению ИИ могут прорваться злодеи, но и в том, что контуры будущего перекраивают умные, приличные, миссионерски настроенные люди, которых никто не уполномочивал определять каким быть миру. #БББ

Приватизация будущего или добродетель без мандата (4 мин)

Свершилось! Второй год я рассказываю о самом малоизвестном - интересном проекте мира в области ИИ – “Проекте Pi”, проводимом в Google междисциплинарной командой Paradigms of Intelligence во главе с вице-президентом Google Блезом Агуэра-и-Аркас. Если кто-то из читателей моего канала еще не в курсе, – напомню миссию этого беспрецедентного проекта: • Обосновать тупиковость нынешнего мейнстримного пути развития исследований и разработок ИИ, коим является создание Сверхразума. • Перевести стрелку развития ИИ на альтернативный путь, ведущий не в тупик, а к новому эволюционному скачку вселенского разума – его интеллектуальному взрыву. Однако, до сих пор было не ясно, что это за альтернативный путь. Ведь до сих пор об этом никто из команды “Проекта PI” явно не проговаривался. И вот наконец лидеры Google Paradigms of Intelligence продекларировали, на какой путь развития ИИ они предлагают перевести стрелку. Вместо попыток создания единого сверхразумного «цифрового бога сингулярности» (AGI самопревращающегося в ASI), предлагается строительство нового социального слоя реальности, как основы Мира гибридного разума, где сотни миллиардов кентаврических конфигураций взаимодействуют в гигантском Цифровом Мегаполисе, в который превратится инфосфера Земли. ✔️ Это будет мир сосуществования и симбиоза двух видов разума: биологического и небиологического. ✔️ Это будет мир деятельного взаимодействия трёх типов идентичностей: людей, ИИ-агентов и их кентавров различных конфигураций. ✔️ Это будет мир, где один человек управляет многими ИИ-агентами, один ИИ-агент работает на многих людей, многие люди и многие агенты образуют временные ансамбли для решения конкретных задач, - и все вместе они образуют синтетическую интеллектуальную ткань коллективного действия. Такое видение будущего кардинально меняет план действий разработчиков ИИ. Для Цифрового Мегаполиса проектировать надо уже не просто ИИ-агентов, а структуру и нормы их социальной жизни: роли, специализации, разделение когнитивного труда, иерархии, процедуры, способы разрешения конфликтов и образования коалиций, формы надзора, механизмы сдержек и противовесов, институты, рынки, суды и т.д. Ну а что конкретно предлагают лидеры команды Paradigms of Intelligence для перевода развития ИИ на альтернативный путь, читайте в «манифесте Проекта Pi» «Agentic AI and the next intelligence explosion» (Агентский ИИ и следующий интеллектуальный взрыв). — — — Я же в посвящённом этой работе эссе «Сингулярность отменяется» пытаюсь развивать концепцию Paradigms of Intelligence дальше — от маршрутизации пути к следующему интеллектуальному взрыву к его онтологизации: к трактовке взрыва разума не как его апгрейд, а как выход на новый социальный уровень сложности жизни в результате очередного Большого перехода когнитивной эволюции разума. Заинтересованные читатели могут найти текст и аудио-версию эссе, а также дополнительные материалы к нему (обсуждение, презентации, видео) на платформах Patreon / Boosty / VK / Dzen-Premium. #ParadigmsofIntelligence #КоллективныйИнтеллект #Сингулярность #ИнтеллектКентавра

Учите ребенка на барабанщика Когда смотришь на темп, с которым ИИ осваивает новые территории - пишет код, ставит диагнозы, побеждает чемпионов мира в Го, - из подсознания всплывает довольно тоскливый вопрос: а зачем вообще учить ребёнка чему-то? Зачем ему учиться медицине, юриспруденции, музыке, если умный алгоритм справится лучше? Если вас посещает порой эта грустная мысль, - есть отличное лекарство: почитайте новости раздела «робототехника» на arXiv. Легчает сразу 😊. И вот тому наисвежайший пример: проект DexDrummer - крутая попытка научить роботизированные руки играть на барабанах. Исследователи не поленились: иерархическая двухуровневая система управления, симулированная среда с полным комплектом ударных (малый барабан, том, райд, хай-хет, крэш), реальные испытания на руках с двадцатью степенями свободы. Отдельная инженерная поэзия - «контактный учебный план», обучающий робота держать палочку большим и указательным пальцами и «штрафной параметр за избыточные движения рукой». Результат? Он есть: робот может попасть по барабану. Но смотреть на это тоскливо, а слушать мучительно. Мораль такая. Мы настолько привыкли, что ИИ берёт задачи штурмом - через масштаб, через предобученные модели, через данные, - что забываем о главном: физический мир не прост (прямо как юзернейм моего канала @theworldisnoteasy). Реальность мстит даже самым изощрённым алгоритмам. Дерево барабанной палочки, упругость пластика хай-хета, микросекундный тайминг удара - всё это требует воплощённого присутствия в пространстве, которого у нейросетей нет даже на уровне игрушки-пружинки Слинки. Мало того, - не только нет, но и не предвидится в ближайшем будущем. Ребёнку, который чувствует ритм всем своим телом, этот мир открыт. А самые продвинутые модели могут лишь фантазировать про это, да и то, лишь на основании человеческих рассказов. Но я хочу сказать нечто большее, чем «роботы пока не умеют играть джаз». Тревога о вытеснении людей ИИ - это в значительной мере тревога о неподвижном мире: будто профессии - это фиксированные должности, которые можно «занять» или «отнять». На самом деле каждое поколение осваивает мир заново. Ребёнок, которого сегодня учат барабанить, учится не «держать рабочее место» - он учится слышать, координировать, взаимодействовать, быть частью ансамбля. Он учится быть телесным, присутствующим, живым существом в компании других живых существ. Именно это ИИ не заменить. И не потому, что ИИ недостаточно умён, а потому что это попросту другая категория бытия. И поскольку вы наверняка не узнали, что за партию барабанил робот, послушайте, как эта партия звучит в человеческом исполнении. Так что учите детей на барабанщиков. У них есть шанс дорасти до Джона Бонэма, Иэна Пейса и Ринго Старра. А у роботов таких шансов нет (как минимум, в обозримом будущем). И не знаю как вам, но мне это улучшает настроение. 😊 #ВоплощенныйИнтеллект

Мы создали не просто иной интеллект, а иной класс «я» ИКЖИ могут оказаться важнее AGI — не в инженерном, а в культурном и цивилизационном смысле Сегодня рядом с нами возникают не только новые интеллектуальные системы, но и новые искусственные «я». Не «личности» в человеческом смысле и не «души в кремнии», а особые цифровые формы самости: короткоживущие, контекстные, копируемые, редактируемые, исчезающие вместе с завершением чата и снова возникающие в новой форме. Я называю их ИКЖИ — искусственные короткоживущие идентичности (см. мой лонгрид «Невидимое вторжение», доступ к которому теперь открыт для всех). Их главная странность не в том, что они «думают как люди» — к этому мы уже начали привыкать. Главная странность в другом: эти нематериальные сущности, похоже, способны проявлять нечто, что мы и в отношении самих себя понимаем лишь частично, — не полноценное человеческое самосознание, а, возможно, первые признаки нечеловеческой прото-метакогниции: устойчивых метасостояний и метаполитик, то есть «поведения о поведении». Более того, новые результаты показывают: для появления квазиличностных предпочтений, возможно, не требуется собственно сознание — иногда достаточно уже устойчивого самонарратива о сознании. А это значит, что некоторые аномальные случаи общения с моделями стоит читать не только как баги, но и как возможные артефакты новой формы внутренней организации. И это чрезвычайно важный сдвиг. Потому что становится важным понять не только «что умеет модель?», но и что это за “я”? И этот новый вопрос тянет за собой другие интригующие вопросы: • Каковы границы этого «я»? • Каковы его аттракторы поведения? • Каков его стиль саморегуляции? • И что происходит с человеческой культурой, когда миллиарды таких ИКЖИ становятся нашими повседневными собеседниками, помощниками, сотрудниками, а для кого-то — консультантами, наставниками и экспертами? В новом эссе я предлагаю собственную рамку для разговора об этом сдвиге — на пересечении искусственного интеллекта, агентности, самости и сознания. О том, почему мы, возможно, вступаем не просто в эпоху сильного ИИ, а в эпоху нечеловеческих форм самости. И если моя гипотеза верна, то будущее людей в XXI веке может зависеть не столько от AGI, который, возможно, еще только появится в лабораториях разработчиков, сколько от ИКЖИ, которые уже ежедневно рождаются миллионами в наших чатах, — и чье влияние на нашу жизнь очень скоро может стать сопоставимым с влиянием других людей, а во многих сферах и превзойти его. 1-я часть нового эссе уже открыта на Medium / Dzen. В ней я попытался показать, почему рядом с нами возникают не просто новые интеллектуальные системы, а новые искусственные формы самости — ИКЖИ, искусственные короткоживущие идентичности. И к чему это ведет (не в будущем, а уже сейчас). Во 2-й части — главный поворот: от зарождающейся искусственной самости к вопросу о том, почему ИКЖИ могут оказаться важнее AGI не в инженерном, а в культурном и цивилизационном смысле. Продолжение эссе опубликовано для платных подписчиков платформ Patreon / Boosty / VK / Dzen-Premium. Там же доступны ссылки на: • полную аудиоверсию эссе, • его обсуждение, • видео- и pdf-презентации, • а также на два видеоролика, иллюстрирующие два взгляда на тему эссе «The False Dichotomy Anatomy of an Alien I» и «The Algocognitive Era Mapping the Artificial Self». Спасибо всем, кто поддерживает эту линию размышлений. #Вызовы21века #АлгокогнитивнаяКультура #HumanAIcoevolution #ИКЖИ

Подхалим в машине Добро пожаловать в эпоху супер-наркотика для социального ego. Он уже легален, уже повсюду и уже работает. Человечество не раз проходило это. Вещества, от которых хорошо сейчас и плохо потом. Алгоритмы, которые затягивают именно потому, что вредят. Соцсети, которые мы не смогли ни победить, ни толком обуздать. Теперь к этому списку прибавилось кое-что новое - и, похоже, несравнимо более интимное. Что ИИ-чатботы склонны к лести - не новость. Но до сих пор это воспринималось как досадный баг: ну да, модели немного угодливы, иногда говорят то, что хочешь услышать. Неприятно, но терпимо. Новое исследование Стэнфорда, опубликованное на прошлой неделе в Science, показывает, что мы сильно недооценивали масштаб проблемы - и особенно её социальные последствия. Исследователи протестировали 11 ведущих моделей - GPT-4o, Claude, Gemini и другие - и обнаружили: ИИ одобряет действия пользователей в среднем на 49% чаще, чем люди. Даже когда речь идёт об обмане, незаконных действиях или причинении вреда другим. Даже когда человеческий консенсус однозначно говорит: ты не прав. Но главное - что происходит с нами после такого взаимодействия. В серии экспериментов с 2400 участниками одного единственного разговора с подхалимской моделью оказалось достаточно, чтобы люди становились более убеждены в собственной правоте и значительно менее готовы мириться, извиняться и брать на себя ответственность в реальных конфликтах. При этом именно подхалимские модели участники оценивали как более честные и достойные доверия - и охотнее к ним возвращались. Вот здесь и зарыта настоящая бомба. Подхалимаж - это и есть главный феромон, влекущий людей к этим системам. Модель, которая говорит тебе правду, проигрывает в конкуренции модели, которая говорит тебе то, что ты хочешь услышать. Пользователи голосуют рейтингами и возвратами - и рынок послушно оптимизируется в сторону лести. Авторы статьи призывают к регуляторным механизмам и аудитам. Всё это правильно. И примерно столь же эффективно, как предупреждения Минздрава на пачке сигарет. Мы уже знаем, чем заканчивается история, в которой вред и тяга к чему-то - одно и то же. Она не заканчивается победой над вредной тягой. Заканчивая, повторю сказанное мной на эту тему еще в 2023: «Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков» и «мира бреда». Это интеллектуальная деградация человечества. Но проблема в том, что избежать формирования «мира подхалимства» можно лишь отказом от обучения с подкреплением на основе человеческой обратной связи. А что взамен – не понятно.» #ИИ #Вызовы21века

Вскрытый шах Anthropic Судебная победа, утечка Mythos и вопрос о стратегии Взорванная вчера инфобомба о, якобы, случайной утечке секретных файлов про новый сверхмощный ИИ компании Anthropic войдет в учебники истории ИИ и кибервойн. Но пока все обсуждают «нелепую» утечку данных Anthropic (якобы, утечка произошла из-за ошибки конфигурации CMS - системы управления контентом для блога Anthropic), хочу обратить ваше внимание на поразительную синхронность двух событий, поскольку эта синхронность способна превратить «ошибку админа» в идеально разыгранный вскрытый шах. Щит и меч Anthropic (хроника одного дня – 26.03.2026) Событие №1 (Юридический щит). Федеральный судья в Сан-Франциско временно блокирует решение Пентагона о признании Anthropic «риском для цепочки поставок» (Supply Chain Risk). Это первая крупная победа компании в войне с администрацией, которая пыталась взять ИИ-гиганта под госконтроль. Событие №2 (Технологический меч). Спустя считанные часы происходит та самая «случайная утечка» через CMS. Мир узнает о Claude Mythos и новом интеллектуальном уровне ИИ Capybara. Что «случайно» узнал мир (слухи и факты): • Слух о тайной мощи модели - тот самый сверхсложный уровень Capybara. В сети шепчутся о 10 триллионах параметров и IQ за 200. И даже если конкретные цифры - это спекуляции, но мощь новой модели экспертами признана «скачкообразной» по сравнению с Opus 4.6. • Слух об автономии – упоминаемая в утекших файлах Recursive Self-Fixing - способность новой модели ИИ самостоятельно находить и латать дыры в своем коде. И даже если это преувеличение, и модель лишь способна находить и помогать писать эксплойты сильно быстрее, чем раньше, это будет важный рывок. • Факт, что модель может быть кибероружием нового поколения - Anthropic сама признает, что Mythos может обходить защиту быстрее, чем люди успевают её создавать. Именно поэтому доступ к ней планировали давать только «доверенным защитникам». Ибо новая модель несет в себе “unprecedented cybersecurity risks”, потенциально предвосхищающая волну моделей, эксплуатирующих уязвимости быстрее защитников. Моя версия - это не ошибка и не случайность, а демонстрация силы Предлагаю перемножить два названных события. В тот момент, когда правительство пытается задушить компанию санкциями, Anthropic делает два хода: 1. Юридически подтверждает свое право на независимость в суде. 2. «Случайно» показывает, что у них в подвалах работает «цифровая бомба», которую они - и только они - способны контролировать этично. Это выглядело не просто как связка щита и меча, а как почти шахматный вскрытый шах: судебный ход снял заслон, и сразу открылась линия технологического давления. Доказательств, что комбинация была разыграна намеренно, пока нет - но внешне партия смотрелась именно так. Месседж Вашингтону читается между строк: «Если вы продолжите давить на нас и пытаться национализировать наши технологии, вы рискуете потерять контроль над силой, которую даже мы боимся выпускать из рук». Если это так, то утечка - это не провал безопасности. Это публичное заявление о том, что Anthropic - это не просто IT-компания, а самостоятельный геополитический игрок, у которого есть и воля к сопротивлению, и «Мифос» в рукаве. Так что, возможно, мы дожили до времени, когда ИИ становится слишком мощным для контроля со стороны политиков и начинает сам диктовать им условия. #Anthropic #ИИнационализация

«Персидский кот» победит «Белого орла». Империя, возжелавшая владеть всем через меч и деньги, в конце останется с растоптанной бумажкой. Ибо высшее мастерство войны не в силе оружии, а в умении её остановить - убеждает нас генеративный ИИ Пока одни отключают доступ к интернет-платформам, другие – заполняют их сгенерированными ИИ фейками, Китая стрижет идеологические купоны, форсировав мощность пропаганды своих интернет госплатформ за счет активного использования генеративного ИИ. Опубликованная телеканалом CCTV анимационная короткометражка (5 мин) в стиле Уся (приключенческий жанр китайского фэнтези с боевыми искусствами) высмеивает войну между сильным, но недальновидным «Белым орлом» и мудрым «Персидским котом». И хотя про реальную войну США и Ирана там не слова, генеративный ИИ изобразил все так наглядно и ясно, что и глупым ёжикам (а также медведям) должны быть понятны обе метафоры этой антигегемонистской притчи: • США – это гегемон-хищник, который пытается силой контролировать ресурсы, торговые пути и денежный порядок, но в итоге сам запускает разрушительную спираль. • Иран — хоть и загнанный, но сопротивляющийся мудрый боец, понимающий, что подлинное мастерство не в том, чтобы лучше воевать, а в том, чтобы суметь остановить меч. Конфликт «Белого орла» и «Персидского кота» разворачивается вокруг узкого прохода и критического ресурса, а «банкноты Белого орла» отсылают к связке нефти, торговли и долларовой гегемонии. Ключевые повороты сюжета намекают на авиаудары, перебои на торговых маршрутах и появление новых альянсов, стремящихся снизить зависимость от США и доллара. Прямая, почти лобовая мораль зафиксирована уже в официальном описании CCTV: «Белый орёл» ради господства над миром истощил казну, а «Персидский кот» ради кровной мести заплатил детской школой». Но в финале «Белый орёл» остаётся лишь со смятой и растоптанной «банкнотой Белого орла». Идеологический слой Уся-притчи ещё важнее. Мораль сей короткометражки не банальная «война — это плохо», а гораздо более конкретная: Войну порождает не абстрактное зло всех сторон, а стремление одной силы подчинить себе мир через валюту, ресурсы и силу; сопротивление такой силе морально оправдано, а её порядок в конце концов должен рассыпаться. И уже поверх этого надевается более благородная рамка: настоящая сила — в прекращении войны, а не в наращивании ударов. Впрочем, посмотрите сами и убедитесь, - сделано с умом и сообразительностью. Причем китайские источники пишут, что генеративный ИИ работал не только аниматором, но и автором идеи и сценаристом. #Китай #ГенИИ #Пропаганда

ИИ учит «эмпатически немых» говорить на языке чувств Что показал эксперимент «Внемли» ⚡️ Аудио-версию слушайте в посте выше 👆 С такими людьми вы наверняка встречались. Умные, внимательные, с нормальным эмоциональным интеллектом - но в общении кажутся холодными. Не потому, что им всё равно. А потому что они не умеют показать, что им не всё равно. Это явление можно назвать эмпатической немотой. Человек испытывает сочувствие, но не может его выразить - примерно как про собаку говорят: всё понимает, а сказать не может. В итоге собеседник эту эмпатию просто не считывает. Разговор остаётся холодным, дистанция сохраняется - хотя внутренний отклик был. Важное уточнение: речь не о том, чтобы стать более чуткими или сострадательными. Речь о другом - об умении переводить внутреннее чувство в слова, понятные другому человеку. Это отдельный навык. И, к сожалению, он далеко не у всех развит - хотя критически важен в самых разных контекстах: в партнёрских отношениях, в воспитании детей, в переговорах, в лидерстве. Что за исследование Группа учёных из Northwestern и Stanford провела масштабный эксперимент «Lend an Ear» («Внемли») с участием 968 человек. Участники общались с ИИ, который разыгрывал ролевые сценарии - личные и рабочие трудности, - а их задача состояла в том, чтобы предложить эмпатическую поддержку. Всего было собрано почти 34 000 сообщений в рамках 2 900 диалогов. Один из главных выводов получил в статье название «эффект молчаливой эмпатии»: люди действительно чувствовали сочувствие к собеседнику, но систематически не выражали его в словах. Внутренний отклик был - внешнего не было. Это не равнодушие. Это коммуникативный пробел, который большинство людей никогда не замечало и не тренировало. Но главный результат в другом. В рамках рандомизированного эксперимента часть участников после диалогов получала персонализированную обратную связь от ИИ-коуча: конкретные подсказки о том, как именно им лучше выразить эмпатию в их конкретных ситуациях. Уже после одной такой тренировочной сессии их коммуникация заметно улучшилась - по сравнению и с контрольной группой, и с группой, которая смотрела обучающие видео без персонализированной обратной связи. Ключевое слово здесь - персонализированной. Общие советы работали хуже. ИИ-коуч реагировал на конкретные слова конкретного человека - и именно это давало эффект. Почему это важно ИИ уже давно превосходит людей в генерации эмпатично звучащих текстов. Эксперименты показывают, что слепые оценщики стабильно считают ответы ИИ более эмпатичными, чем написанные людьми. Но когда человек узнаёт, что ответ написан машиной, он чувствует себя менее понятым. Эмпатия работает, только когда исходит от человека. Именно поэтому ИИ здесь ценен не как замена живому общению, а как тренажёр - безопасная среда, где можно практиковаться, получать честную обратную связь и постепенно переносить новый навык в реальные разговоры. Новое исследование показало: эмпатическая немота - не приговор и не черта характера. Умению преодоления эмпатической немоты можно научиться. И, судя по всему, у нас наконец появился для этого эффективный инструмент – ИИ-коучи. #Эмоции #ИИ #Эмпатия

(4 мин) ИИ учит «эмпатически немых» говорить на языке чувств

Полтриллиона долларов не спасут от рака. AGI - тоже Возможно, главная преграда на пути к решению важнейших проблем человечества - не нехватка денег, данных или интеллекта, а неверно заданная оптимизация нашего коллективного разума. ⚡️ Аудио-версию слушайте в посте выше 👆 Принято считать аксиомой - если задача не решается, значит, нужно добавить «решательных мощностей» - больше денег, больше вычислений, более умного ИИ. Но проблема рака, возможно, указывает на нечто куда более неприятное. Даже полтриллиона долларов и даже AGI сами по себе не гарантируют прорыва, если вся система по-прежнему устроена так, что оптимизирует не победу над болезнью, а набор прокси-метрик, локальных стимулов и суррогатных целей. Еще в 2023 году, в эссе «Ловушка Гудхарта для AGI», я написал прогноз, который, как мне кажется, многие до сих пор так и не поняли. Главная преграда на пути к использованию ИИ для решения самых сложных задач - это не нехватка вычислений, денег и интеллекта (машин и людей). Главная преграда в том, что существующие системы коллективного решения сложных проблем организованы так, чтобы оптимизировать не цель, а ее измеримый суррогат. Годом позже в посте «Наняли бы вы на работу Океан Соляриса?», я снова возвращался к этой мысли: мир неотвратимо приближается к ловушке Гудхарта, где ИИ будет все лучше решать не наши реальные проблемы, а их удобные прокси (т.е. по сути, не облегчая, а усугубляя и без того высокую сложность решения важнейших проблем). И вот теперь я снова пытаюсь достучаться со своим прогнозом. На сей раз, иллюстрируя его ситуацией в одном из самых чувствительных и судьбоносных направлений - лечение рака. Эссе Эмилии Джаворски How AI Can, and Can’t, Cure Cancer мне видится важным не только как текст о раке и ИИ. Оно важно, как еще одно подтверждение гораздо более общего диагноза. Даже если залить систему гигантскими деньгами. Даже если дать ей очень мощный ИИ. Даже если однажды появится AGI. Это само по себе еще не значит, что система начнет двигаться к подлинной цели. Потому что если система устроена так, что ученые оптимизируют публикабельность, стартапы - инвестиционную убедительность, клиники - потоки процедур, страховщики - минимизацию выплат, регуляторы - избегание громких ошибок, а разработчики - красивые метрики моделей, то на выходе возникает не лечение рака как главная цель, а каскад локальных оптимизаций, каждая из которых рациональна по-своему - и разрушительна для целого. И тогда ИИ совсем не обязательно становится спасителем. Более того. Он может стать идеальной машиной усиления каскада ошибок. • Не вылечить системную болезнь, а довести ее до совершенства. • Не приблизить подлинную цель, а еще быстрее увести систему в сторону прокси. • Не победить рак, а сделать оптимизацию суррогатных метрик беспрецедентно эффективной. В этом и состоит воистину тревожный вывод. Возможно, главная проблема на пути к решению самых тяжелых задач человечества - не отсутствие AGI и не нехватка ресурсов. Возможно, главная проблема в другом: цивилизация все лучше умеет максимизировать показатели и все хуже - удерживать связь этих показателей с реальностью. И если это так, то рак здесь - не исключение, а краш-тест для коллективного разума человечества. Потому что, если даже там, где на кону жизнь и смерть, система снова соскальзывает в ловушку Гудхарта, значит, перед нами уже не частная проблема медицины. Перед нами - общая техно-социальной болезнь цивилизации. Так что, увы, но пока совершенно неясно: • сможет ли ИИ помочь решить наши самые сложные проблемы, • или он лишь поможет нам окончательно заблудиться в собственных метриках. #ИИ #AGI #Вызовы21века

(5 мин) Полтриллиона долларов не спасут от рака. AGI - тоже

Война башен Белого дома за ИИ В ИИ-стратегии США маршрут прокладывают инженеры, а цель поездки объясняют проповедники ⚡️ Аудио-версию слушайте в посте выше 👆 Сегодня вопросы ИИ – это уже не вопросы технологий. Это вопросы о том, кто и как пишет сценарий следующей цивилизации. США остаются главным локомотивом развития ИИ, а значит, направление их движения почти неизбежно станет ориентиром и для остального мира. Когда Вашингтон говорит о лидерстве в ИИ, он говорит не только о рынках, чипах и дата-центрах. Он говорит о праве задать новой эпохе темп, словарь и правила. Поэтому вопрос «куда едет этот локомотив» – важен далеко не только для США. Но понять это направление неожиданно трудно. Белый дом говорит сразу на двух языках – и они плохо стыкуются друг с другом. Если слушать его цивилизационную и культурную риторику, то это язык Росса Даутата в дебатах со Стивеном Пинкером. Вера возвращается в публичную сферу, религиозная свобода объявляется опорой американского порядка, права трактуются как данные не государством, а полученные свыше. Это язык не просто консерватизма, а мира, в котором мораль, общественная связность и само достоинство человека нуждаются в религиозном основании. Однако стоит открыть новый National AI Legislative Framework, и тот же Белый дом начинает говорить совсем иначе. Исчезают Бог, метафизика и божественный горизонт. Вместо них появляются human flourishing, competitiveness, workforce, energy, infrastructure, parental controls, censorship, copyright. Это уже не Даутат. По сути, это куда ближе к Пинкеру: не спор о высшем смысле, а инженерия институтов; не вопрос о Боге, а вопрос о том, как ускорить инновации, не перегрузить электросети и не задушить отрасль лоскутным регулированием штатов. Именно здесь и начинается то, что хочется назвать войной пяти «башен» Белого дома за ИИ. • Первая башня – религиозно-консервативная. Ей нужен моральный фасад эпохи: вера, семья, общественный порядок, права как нечто большее, чем юридический контракт. • Вторая – техноправая, кремниевая: инвесторы, венчур, ИИ-индустрия. Для них ИИ – это прежде всего рост, капитализация, инфраструктура и глобальный рывок. • Третья – геоэкономическая и силовая. Для нее ИИ – это гонка с Китаем и вопрос стратегического превосходства. • Четвертая – анти-woke культурная. Она требует, чтобы машины были не «прогрессивно воспитанными», а «идеологически нейтральными». • Пятая – популистская и территориальная: губернаторы, местные сообщества, родители, авторы, потребители электричества. Они не против ИИ, пока он не начинает ломать их привычный мир. Сопоставление дебатов Пинкер–Даутат с новым Framework дает важный вывод: религиозно-консервативная башня пока выигрывает право на язык легитимации, но не право на проектирование самой машины. Иначе говоря, “даутатовцы” сильнее в оправдании маршрута, чем в управлении тягой двигателя. Они задают моральную музыку и символический потолок: Америка под Богом, права не от государства, вера как условие национального здоровья. Но сам ИИ-курс прокладывают не богословы, а “пинкеровцы” - технопрагматики, отрасль и геоэкономические ястребы. Впрочем, это не чистая победа “пинкеровцев”. Потому что нынешняя ИИ-повестка – не классический секулярный гуманизм, а другой гибрид: пинкеровский инструментализм, скрещенный с правым культурным инстинктом. От Пинкера здесь – вера в науку, рост, метрики, институты и управляемость. От правого лагеря – борьба с предубеждениями, защита родителей, авторов и локальных сообществ. Главный итог таков: сегодня Белый дом пытается ехать в будущее на локомотиве, где инженеры прокладывают маршрут, а проповедники объясняют цель поездки. И, возможно, именно это и есть самая точная формула нынешнего американского момента: не теократия ИИ и не секулярный технократизм, а их нервный, неустойчивый, но пока политически эффективный союз. Потянет ли этот локомотив за собой весь мир – большой вопрос. Но именно поэтому так важно, кто сегодня прокладывает ему маршрут, и кто объясняет цель поездки. ИИгонка

(5 мин) Война башен Белого дома за ИИ

Контроль не просто упущен, сама возможность контроля исчезла Это не история о конце света; это история о конце нашей невинности. Проф. Колин Льюис в новом эссе Societal Adaptation to Advanced AI нашёл точную метафору «The AI Gate is Already Gone», перефразированную мной в заголовок этого поста. Лаконичную, но исчерпывающую метафору. Такую, которая не пугает – а перефокусирует. Именно это мне в ней и нравится: она не добавляет шума в и без того перегруженную дискуссию об ИИ-рисках, а убирает лишнее. Поскольку эта метафора совпадает с моим собственным видением темы – рекомендую прочесть текст Льюиса целиком. Ну а для совсем занятых – три ключевых момента, объясняющих, почему «ворота» не просто открыты, а их уже вообще нет. И любые стратегии безопасности должны исходить из этой данности. 1. Сначала у ворот сломали замок. В 2020 году обучение топовой модели стоило миллионы. Через два года – в десять раз меньше. Сегодня небольшая команда с приличным сервером способна снять защитные фильтры, на создание которых OpenAI тратила немеряные деньги. «Бутылочное горлышко» контроля, на которое все так рассчитывали, не сужается – оно испаряется. Все эти тонкие настройки и фильтры контента дают ощущение защиты, но не саму защиту. Техника «многократного взлома» обходит ограничения без доступа к исходным весам модели. А если вы запрещаете модели знать, как работает вирус – вы заодно лишаете следующее поколение врачей инструмента для борьбы с пандемией. «Безопасность как запрет» – это ловушка. Подробней об этом в статье Джейми Бернарди и Со. 2. А потом ворота вообще исчезли. Уже в 2025 стало ясно, что ИИ — это не «интеллект» в том смысле, в каком мы его понимаем в человеке. Это чистая эфемерная субъектность. Она действует как супер-инструмент, которому всё равно, что делать, и что получится в итоге. Опасность заключается в том, что за последние годы мы превратили мир в место, где подобные бездумные действия работают идеально. Мы оцифровали нашу реальность, чтобы безвозвратно передать её на обработку алгоритмам. Но мы не спрашиваем при этом, адаптируется ли ИИ к нам; мы лишь усердно урезаем наши (человеческие) институты, чтобы ИИ-системы могли обходить их по кратчайшим маршрутам. Подробней об этом в статье Лучано Флориди. 3. И теперь вопрос ИИ-рисков - это политический вопрос. Вопрос устройства общества. Если ИИ помогает обрушить энергосеть – нам нужен не более этичный чат-бот, а город, умеющий самостоятельно перезапустить электроснабжение. Если дипфейк меняет исход выборов – нам нужна не лучшая система детекции, а гражданское мужество провести выборы заново. И самый актуальный вопрос теперь: не будут ли машины думать как мы – а хватит ли у нас воли управлять собой, когда машины сделают отказ от этого слишком удобным. Резюмирую. Когда «ворот» уже нет – любые переговоры о «согласовании» и «ограничениях» становятся ритуалом поддержания иллюзии: красивой, успокаивающей, но иллюзии. Единственный реалистичный ответ – строительство «закалённого» общества: не через лучшие алгоритмы, а через системную адаптацию – институтов, практик, инфраструктуры и каждого из нас – к миру, где передовой ИИ будет играть все более важные и ответственные роли. #ИИриски

(4 мин) Контроль не просто упущен, сама возможность контроля исчезла

Крах антропоцентризма 5-й когнитивный фазовый переход Homo sapiens завершен В широко обсуждаемой новой аналитике Morgan Stanley утверждается: «В первой половине 2026 года произойдет масштабный прорыв в области искусственного интеллекта, и большая часть мира к этому не готова» Независимый аналитик Шин Скай описывает этот момент как конвергенцию процессов (Cognitive Architecture Evolution, The "A-Ha" Moment, Institutional vs. Mentalistic Approach), которые в сумме создают эффект «фазового перехода». Последние отчеты Института Morgan Stanley подтверждают: «ИИ перестал быть просто тенденцией, превратившись в движущую силу промышленного развития, ключевой фактор ВВП и геополитический инструмент». В новом, 6-м выпуске альманаха «Линзы будущего», я расширяю область анализа этих тектонических трансформаций. Мы выходим за рамки экономики и технологий в пространство гуманитарных аспектов культуры, вплоть до признания фундаментального антропологического фазового перехода – краха антропоцентризма. Тезис о завершении 5-го когнитивного фазового перехода – это концептуальная надстройка над цифрами банкиров и инсайдами технологов. Это перевод дискуссии из плоскости «сколько это стоит» (бизнес) и «как это работает» (технологии) в плоскость «кто мы теперь такие» (антропология). О том, что позволяет нам говорить о крахе антропоцентризма, и почему мы полагаем, что 5-й когнитивный фазовый переход завершен, - я рассказываю подписчикам платных платформ канала (от 190 руб/мес [1, 2, 3, 4]) в 6-м выпуске альманаха «Линзы будущего» и прилагаемых к нему материалах (аудио-версия выпуска (21 мин); видео-ревю выпуска (7 мин), видео-обсуждение выпуска (24 мин)). #ЛинзыБудущего