Не наступай на Fugu - новый координатор LLM api от Sakana.ai🐡 В противовес fusion ребята из Sakana.ai выпустили свой закрытый координатор моделей. Основная фишка японцев в своей модели, которая представляет из себя Small LM (SLM), я бы даже сказал tiny, тк на 0.6B параметров, специально обученную на задачи выбора: 1. Ответить самой на запрос. В тч рекурсивно вызывая себя. 2. Отдать на ответ другой модели+выдать ей роль (промпт и/или скилл) для ответа. Роли три: мыслитель, работяга и ревизор. 3. Агентная оркестрация и планирование. Получив запрос модель делает план, кого с каким запросом и инструментами дёрнуть, а также как сагрегировать ответ. В отличие от fusion, тут полностью закрытый инструмент с подпиской. Ещё из интересного есть тех. репорт. Который чутка разберём ниже, тк размер оч маленький, над понять, а почему такая SLM работает. У SLM две головы, одна для генерации текста. Вторая для выбора стратегий. Обучение происходит в три фазы: - Sft на данных полученных через ответы LLM, по сути, дистилляция больших братьев, как бы они генерировали ответы, планы и тп. 🚬 - Генетика на стратегиях оркестрации. Учат модель выдавать эффективные комбинации: LLM+роль+задача, а также завершить задачу, дать ответ или передать иному агенту. - RLVR этап как работа в среде, тк это стадия последняя, модель умеет: генерить стратегии, делать выбор и отвечать. Теперь нужно закрепить это в задачах с обратной связью от среды e2e. То самое выравнивание. Для оркестрации своей диалоговой системы, кстати, писал тут уже, ребята из Amazon использовали MAB (бандитов). Тут бы можно было тоже, но генетика красивое. 😜 В итоге, Fugu имеет мощное обобщение и работает даже на OOV примерах LLM. Те на моделях, которых не было в обучении. 🤙 Для меня остаётся конечно все ещё вопрос реальной эффективности 0.6B модели. Также стоит отметить, что в случае оркестрации на коленке, лучше взять fusion и локальные модельки. В остальном, довольно интересное решение, в рамках темы которая тут поднималась не раз - переход к специализации моделей и их метаоркестрации. 💃