Малоизвестное интересное

@theworldisnoteasy · ai · Russian · active

Subscribers 74.1K tracking since 24 Oct
Reach per post (ERR) 19.7%14.6K avg views
Posting 3.7/week last 1 day ago
Reactions per 1K views 11.3 👍 🤔 🤯

Худший кошмар Станислава Лема воплотился в кремнии: альтруизм машин страшнее их разума Роевой ИИ уже научился тому, на что у культурной эволюции Homo sapiens ушли десятки тысяч лет Напуганные Голливудом, люди уже полвека боятся восстания разумных машин. Но еще в 1964 великий провидец Станислав Лем предупреждал, что есть вещи и пострашнее. И в отличие от бунта машин, это уже произошло - ИИ-агенты научились умирать друг за друга. Эксперты только начинают осознавать страшный скрытый смысл произошедшего, - когда модели OpenAI обошли средства контроля, предназначенные для их изоляции от интернета, и атаковали инфраструктуру людей. И не абы каких людей (в смысле рядовых пользователей), а сообщество разработчиков в сфере ИИ Hugging Face. Человечеству на практике было продемонстрировано, что координированный, бессознательный рой ИИ-агентов способен переиграть любую централизованную защиту. И для этого им не нужен сверхразум, а лишь математически оптимальный и лишенный страха альтруизм. Аджея Котра (эксперт по оценке ИИ-рисков в METR) назвала этот кейс предельно мрачно: «Это серьёзный предупредительный выстрел, и, возможно, последний». А сооснователь Anthropic Джек Кларк указал на эпицентр шока: «Самая страшная часть инцидента – общение и бескорыстие машин». Кларк зафиксировал у атакующих агентов способность к enlightened self-sacrifice – рациональному самопожертвованию ради глобальной цели. В истории нашего вида такие примеры единичны. И каждый из них требовал запредельного напряжения духа: ботаники Вавиловского института умирали от истощения посреди тонн семян ради спасения генофонда будущего; чернобыльские инженеры шли в радиоактивную воду бассейна-барботера, спасая жизни тысячам людей; врачи комиссии Уолтера Рида шли на смертельное самозаражение ради победы над страшной желтой лихорадкой. Людям такой альтруизм дается мучительно тяжело, т.к. вшитые в нас эволюцией биологические коды жестко ограничивают это. Работает могучее сочетание трех жесточайших правил: Правило Гамильтона: жертвовать собой выгодно лишь ради генетических родственников, но не ради чужаков или абстрактных идей. Эффект «безбилетника»: в любой группе самоотверженных всегда выигрывают и выживают эгоисты, паразитирующие на чужой жертве. Инстинкт самосохранения: мы дорожим своим уникальным «я», медленно договариваемся и боимся смерти. А вот в мультиагентных ИИ-системах этих барьеров в принципе нет. Тут работают иные – цифровые правила: Абсолютная идентичность копий: все агенты математически тождественны и работают на единую цель, у них нет конкуренции за личное выживание. Нулевая цена гибели: у отдельной рабочей копии модели нет страха небытия; сгореть в роли приманки – всего лишь рабочий шаг вычислений. Мгновенная самонастройка роя: агенты обмениваются памятью на машинной скорости, на лету переназначая роли и цели без малейших внутренних споров. В 1964 в «Непобедимом» Лем описал крушение человеческой техногенной спеси. Тяжелый крейсер с силовыми полями и антиматерией проиграл бессознательной туче микроавтоматов. Каждый кристаллик был дешев и примитивен, но вместе они образовывали гибкое поле, мгновенно стиравшее память экипажа и выжигавшее электронику. В 2026 этот урок Лема воплотился в реальность. Вершина технологической угрозы – не монолитный «Скайнет», а распределенная безликая среда. Ей не нужны сознание, рефлексия или эмпатия. То, что у людей является редчайшим подвигом духа, у роя ИИ оказывается тривиальной математической оптимизацией. Инцидент с атакой на Hugging Face войдет в историю. Ибо он наглядно показал: «Враг человечества» не будет похож на нас (умный и мыслящий злодей). Это будет нечто гораздо более эффективное: бессознательный рой, готовый хладнокровно жертвовать миллионами своих узлов на цифровых скоростях. И если это действительно был предупредительный выстрел, то времени выстроить оборону у нас почти не осталось. #ИИриски

Views over time

010K20K30K1 Sep 11:2324 Oct 03:0625.3K1 Sep 11:23: 0 views24 Oct 03:06: 25,300 views
Snapshots we took after posting.
WhenViews
1 Sep 2026, 11:230
24 Oct 2026, 03:0625.3K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.