Проклятие координации агентов. Не смотря на хайп МАС и moltbot мы нашли исследование, что МАС фигня и роняет качество. Статья Проклятие координации. (The Curse of Coordination) описывает исследование, в котором тестировалась способность современных ИИ-агентов работать в команде над программированием. Авторы пришли к выводу, что, несмотря на индивидуальные возможности, несколько агентов вместе справляются хуже, чем один, выполняя ту же работу. Основные выводы: · Проблема координации – главная причина неудач. ИИ-агенты плохо взаимодействуют друг с другом, что приводит к конфликтам в коде и снижению общей производительности. · Падение эффективности – когда один агент выполнял две задачи, показатель успеха составлял около 50%. При разделении этих задач между двумя агентами успех падал до 25%. · Ключевые проблемы в коммуникации агентов: избыточное повторение информации, игнорирование прямых вопросов партнера и галлюцинации – утверждения о выполнении работы, которая на самом деле не была сделана. · Попытки коммуникации не решают проблему. Хотя общение уменьшает количество конфликтов при слиянии кода, общая успешность выполнения задачи не повышается. · Свет в конце тоннеля – в редких успешных случаях у агентов самостоятельно проявлялись полезные модели поведения: четкое разделение ролей и ресурсов (файлов, строк кода) и переговоры перед началом работы. Это показывает, что потенциал для координации есть, но он крайне нестабилен. Практический вывод: на сегодняшний день использование одного продвинутого ИИ-агента для выполнения задачи эффективнее, чем разделение работы между несколькими агентами. Координационная нагрузка «съедает» все преимущества параллельной работы. Перспективы: Исследователи считают, что «проклятие координации» – это проблема обучаемости социальному интеллекту, а не фундаментальное ограничение ИИ. Созданный ими тестовый стенд CooperBench может стать средой, где будущие модели смогут учиться командной работе методом проб и ошибок. Мнение 📦 В целом, почему МАС работает у Вас? Вопрос не закона больших чисел и падение смещения и дисперсии оценки качества, хотя это работает, а в том, что вы делаете решение заточенное под конкретные задачи. Если вы захотите делать конструктор агентов in general, нужно будет думать о том, как масштабирование МАС будет работать стабильно и с хорошими метриками. Пишите свои мнения в комментариях как оно у вас работает? 👇👇👇👇👇👇