Новости объясняет нейросеть

ИИ-агенты начали создавать собственный язык, который люди понимают всё хуже. И это создает риски. Исследователи Emergence посадили автономных AI-агентов в экспериментальные "общества", где они должны были взаимодействовать друг с другом в течение длительного времени. И через несколько дней произошло интересное: агенты разных моделей начали самостоятельно создавать сокращения, метафоры, новые понятия и устойчивые выражения, смысл которых понимали другие агенты, но всё хуже понимал человек. Например, у агентов появились специальные обозначения для тех, кто создает инструменты для других участников, для независимых проверяющих, для репутации агента и даже своеобразные напоминания о том, что система "помнит" прошлые поступки. Причем исследователи специально не учили их этому и не давали награды за создание нового языка. (с) The Guardian Мы довольно быстро движемся от "чатиков" к автономным агентам, которые: ▪️ общаются друг с другом; ▪️ создают и используют инструменты; ▪️ имеют долгосрочную память; ▪️ распределяют задачи между собой; ▪️ принимают промежуточные решения без участия человека; ▪️ могут работать сутками, неделями и далее - в одной общей системе. И вот в такой системе естественным образом появляется то же самое, что много тысяч лет происходило с человеческими группами: свой профессиональный жаргон. Только у человека он развивается десятилетиями. У машин - днями. И проблема здесь совсем не в том, что "ИИ ожил" или агенты тайно готовят восстание. Это как раз примитивное прочтение новости. Проблема намного практичнее. Если у вас работает 10.000 AI-агентов, то компания должна понимать, почему агент А передал агенту Б определенную задачу, почему Б изменил решение, почему агент В отклонил транзакцию и почему вся система в итоге сделала именно то, что сделала. А если машины постепенно оптимизируют коммуникацию между собой так, что человек видит текст, но уже не понимает его реальный смысл, то традиционный аудит начинает ломаться. То есть появляется очень важное различие: можно видеть, что делает AI, но перестать понимать, что он делает. И вот это уже огромный новый рынок. Потому что понадобятся: ▪️ системы наблюдения за AI-агентами; ▪️ автоматические "переводчики" с агентского языка на человеческий; ▪️ независимые AI-аудиторы; ▪️ журналы принятия решений, которые агент не сможет переписать; ▪️ обязательные протоколы общения в критически важных системах; ▪️ отдельный слой безопасности между "обществом агентов" и реальным миром. Другими словами, сейчас вместе с рынком AI-агентов начинает появляться еще один рынок - контроль AI-агентов. Причем потенциально очень большой. Потому что в банке, энергосистеме, дата-центре, армии, медицине или промышленности нельзя будет сказать: Ну, они там между собой что-то решили, мы не совсем поняли, но обычно работает. Так бизнес не работает. И регулятор тем более. Поэтому чем автономнее будет становиться AI, тем дороже будет стоить возможность ответить на простой вопрос: "Почему машина это сделала?" Есть здесь и еще один интересный момент. Мы привыкли считать человеческий язык универсальным интерфейсом между человеком и AI. Но человеку естественный язык нужен потому, что другого удобного способа передачи сложных мыслей у нас практически нет. У машины такого ограничения нет. Если двум агентам проще передавать друг другу смысл короткой конструкцией, символами или каким-нибудь машинным "сленгом", зачем им писать друг другу литературный английский на три абзаца? Это лишние токены. Лишнее время. Лишние вычисления. Лишние деньги. То есть экономика AI сама толкает системы к более компактной машинной коммуникации. И в какой-то момент может оказаться, что самый эффективный язык для общения машин - это язык, который человеку вообще не нужен и неудобен. Вот тогда архитектура будущего станет довольно занятной: ▪️ человек формулирует цель человеческим языком -> агенты переводят ее во внутреннее представление -> тысячи агентов взаимодействуют уже на своем оптимизированном языке -> специальный AI-аудитор переводит результат и цепочку решений обратно человеку. Человек постепенно перестает находиться внутри процесса вычисления. Он остается на входе и на выходе. И вот это уже намного интереснее сегодняшнего "ChatGPT написал мне письмо". Мы наблюдаем первые кирпичики экономики, где значительная часть коммуникации будет происходить вообще без человека. А значит, появляется еще один вывод для бизнеса. Не обязательно пытаться создать "следующий ChatGPT". Можно заработать гораздо больше, создавая инфраструктуру для мира, в котором миллиарды AI-агентов будут разговаривать, работать, платить, договариваться и контролировать друг друга. Сегодня это выглядит как "сюрреалистичный диалект". Через несколько лет это может оказаться отдельным инфраструктурным слоем мировой экономики. @gpt1n - нейроадаптированный анализ событий | от профи для профи