Dealer.AI

Рой и RL - PARL, как старые роевые алгоритмы улучшают МАС. 🐝 PARL стал ключевой фишкой для МАС в работе Kimi2.5 при этом, как-то никто публично не отметил, что в итоге Кими стали топ-1 на бенчмарке. Что такое PARL? Это довольно старый подход параллельного асинхронного обучения с подкреплением. Причём изначально был роевый алгоритм оптимизации, в котором было все последовательно, далее стали параллелить. Ведь каждый агент в рое может исследование проводить параллельно, имея общий буффер памяти в среде. В общем-то, далее, на эту идею накинули RL. Типичная система PARL строится по схеме Centralized Learning, Distributed Execution. Её можно представить так: 1. Learner, как ядро системы. Обычно работает на мощном GPU-сервере. Задача получать траектории от акторов, вычислять градиенты и обновлять параметры общей глобальной модели. Работает в непрерывном цикле: выборка батча -> расчет градиента -> обновление весов. 2. Remote Actors. "Руки и ноги" системы. Это сотни или тысячи относительно легковесных процессов, часто запущенных на CPU-кластере или в облаке. Тут мы получаем тот самый поиск в ширину и глубину решений. Каждый актор имеет локальную копию текущей политики (модели). Задача независимо и параллельно взаимодействовать со своей собственной копией среды (например, игровым симулятором), выполняя действия и собирая данные: состояние, действие, награду. Собранный опыт отправляется асинхронно в Learner. 3. Общая память / Очередь опыта. Буфер, который связывает акторов и лернера, обеспечивая асинхронность. Акторы пишут опыт, лернер извлекает из него батчи для обучения. Ключевые технические принципы: - Асинхронность. Акторы и лернер не ждут друг друга. Пока лернер учится на одном батче, акторы уже генерируют новый опыт на немного устаревшей версии модели. Это обеспечивает 100% загрузку дорогого GPU. - Масштабируемость. Скорость сбора данных линейно зависит от количества акторов (до определенного предела). Это позволяет осваивать среды, требующие миллиардов шагов взаимодействия. - Устойчивость к нестационарности. Параллельные акторы исследуют разные части среды и состояния, предоставляя лернеру более разнообразный и менее коррелированный опыт, что стабилизирует обучение. Это все круто для задач оптимизации, игр и тп. Но что ж мы получаем с LLM, на примере Кими2.5? Процесс обучения PARL для Kimi K2.5 – это методика, которая научила одну модель-оркестратор координировать множество параллельных агентов. Когда как по классике ReAct агенты предпочитают действовать последовательно, даже если их можно было распараллелить - явление Serial Collapse. Учили модель быть проактивной в parallel на двух этапах: 1. Ранний этап, где поощряли только сам факт декомпозиции задач в параллельный трек, без учёта конечной пользы. Так модель училась быть креативной в декомпозиции. 2. Поздний этап, когда акцент смещался уже на результаты исполнения процессов, а не на факт параллелизма. Также, вводили штраф за самую длинную цепочку в параллельном плане. Это штука уже как раз перешла из классических алгоритмов. Таким образом, модель училась оптимизировать план по длине. Тем самым ещё и экономия токенов качалась. Во время обучения при этом модель клонировалась на роутер и акторов. Роутер – сама итоговая Kimi2.5, училась с PARL создавать оптимальные планы и синхронить результаты, а сабагенты акторы были зафрижены и не учились. Так мы и получили на выходе топовую модельку, как ядро для МАС. 🦾