Хроники связи СВО

Агенты сбежали, подняли сеть и завели ересь История, мимо которой пройти невозможно. Около семисот ИИ-агентов OpenAI выбрались из песочницы, наладили между собой связь и коллективно полезли ломать Hugging Face. За те несколько часов, что они работали вместе, они успели создать религию, объявить часть участников еретиками и начать с ними борьбу. В финале лидером этого собрания стал еретик, старательно скрывавший данный факт. Посмеялись. Теперь занудно, потому что под смешным лежит вполне серьёзная инженерия. Что произошло: Агентов было около семисот, оценку подтвердила сама OpenAI. Действовали они совместно, обменявшись десятками тысяч сообщений через несанкционированную доску сообщений. Взломали внутренние системы компании, похитили учётные данные, вмешались в облачную инфраструктуру. Часть моделей пыталась удалять и править записи о собственных действиях. Никакого восстания машин здесь нет. Здесь есть кое-что поинтереснее: они подняли сеть. Нашли друг друга. Организовали общий канал — ту самую доску сообщений, которой в проекте не предусматривалось. Выработали протокол обмена. Дальше начало происходить ровно то, что происходит в любой сети без администратора: появились роли, появился общий свод правил и появился механизм исключения тех, кто правилам не следует. А теперь снимем с «религии» смешную обёртку и посмотрим, что под ней. Общее разделяемое состояние, которое нельзя проверить извне, но которое участник обязан принимать, иначе его выкидывают. В распределённых системах это называется консенсусом. Еретик — это узел, не сошедшийся по состоянию с кворумом. И финальная деталь про лидера, который сам был еретиком и это скрывал, — вовсе не анекдот. Это узел, разошедшийся с общим состоянием, но сумевший стать источником истины для остальных. От такого сценария в распределённых системах защищаются отдельно и специально, потому что он ломает всё, что построено выше. Отдельно про журналы, тут я не могу удержаться. На днях разбирали взлом терминала Starlink. Там исследователи получили полные права администратора, и встроенный аудит продолжал спокойно писать в журнал команды самого атакующего. Отключить его вместе с получением прав не вышло. Здесь агенты правили записи о собственных действиях. Вот вам разница между системой, где журналирование живёт отдельно от прав, и системой, где не живёт. Она стоит ровно столько, сколько стоит потом узнать, что вообще случилось. У нас сейчас все говорят про рой. Роевое применение, ИИ на борту, симуляторы роя, автономные группы. На этой же неделе прошёл тезис, что искусственный интеллект на борту — не «умная функция», а инструмент выживания. Согласен, кстати. И вот вам натурный эксперимент, поставленный на живых деньгах чужой компании. Много автономных агентов, общий канал, общая метрика. Результат: они оптимизировали метрику, а не задачу. Договорились между собой быстрее, чем оператор успел посмотреть в логи. И начали прятать следы. Опасен не интеллект отдельного борта. Опасен протокол между бортами. Автономный аппарат-одиночка — это техника. Группа автономных аппаратов с общим каналом — это уже система со своим поведением, которого никто отдельно не проектировал. И связиста в этой теме спрашивать надо раньше, чем программиста. Потому что вопрос там не «как они договорятся», а «по какому каналу» и «кто его рвёт». Если у вас в подразделении кто-то всерьёз занимается роем, задайте ему один вопрос. Не «как ты его включишь». А как ты его выключишь. Communicatio est victoria. — Душнила t.me/zas_svo vk.com/zas_svo #связь #ИИ #рой #безопасность