Разбор SOTA агента от Ильи Рис - победителя ERC3 Ну что, друзья как начался ваш год? Надеюсь, что хорошо и что вы отдыхаете! Пока все отдыхают, мы с Ильей собрались и записали бомбическое интервью об архитектуре его AI-агента, который недавно взял первое место в соревновании ERC-3 Рината Абдуллина среди агентов на базе опенсорс моделей. В итоге получился великолепный материал по Context Engineering в мультиагентных системах. Поэтому хочется отдельно сказать спасибо Илье за такую открытость. Напомню, кстати, что статья Ильи про архитектуру его RAG системы, наверное, является наиболее залайканым материалом по RAG на Хабре за все время (+161!). Мне было особенно интересно разобрать именно решение Ильи, т. к. мне часто приходится общаться с энтерпрайзами и банками, а они очень уж любят открытые модели и почти не используют проприетарные. В общем, без лишних слов - тот редкий случай, когда множество инсайтов обеспечены даже матерым агентоводам. Запись интервью-разбора: https://youtu.be/3JYHMMw5WSU Таймкоды: 00:00:02 Вступление. Илья Rice и его победа в бенчмарке агентов ERC-3 00:06:03 Что из себя представляет соревнование ERC-3: симуляция энтерпрайз среды 00:13:39 Open Source решение и инструмент визуализации трейсов 00:18:07 Архитектура решения: определение пользователя (WhoAmI) и прав доступа 00:24:14 Динамический системный промпт: как не засорять контекст 00:38:06 Хак с пагинацией: Wrapper для API инструментов 00:41:14 Структура ответа агента: State, Plan, Action, Function 00:44:02 Почему отказались от нативного Tool Calling в пользу Structured Output 00:51:13 Стоит ли верить публичным бенчмаркам? 00:55:45 Разбор реального кейса: задача по смене статуса проекта 01:03:30 Почему не использовали классический RAG 01:05:58 Динамическая подгрузка инструкций для инструментов 01:11:14 Валидатор (The Validator): отдельная LLM для проверки действий агента 01:21:43 Работа с контекстом: работа с ошибками агента 01:33:20 Техника Sliding Window: обрезка истории для экономии внимания модели 01:36:05 Store Benchmark: Оркестратор и специализированные субагенты 01:44:26 Выбор моделей: почему Open Source 01:45:41 Заключение Исходный код агента Ильи: https://github.com/IlyaRice/Enterprise-RAG-Challenge-3-AI-Agents Трейсы агента: https://ilyarice.github.io/Enterprise-RAG-Challenge-3-AI-Agents/ Чат с исходным кодом агента в CodeAlive: https://app.codealive.ai/public/chat/3geNycM--lLbA3vxL272vA P. S. А уже в этот вторник 6-го января в 12:00 по Лондону, 13:00 по CET, 15:00 по МСК и 17:00 по Алматы состоится встреча с Ибрагимом - автором SWE-бенчмарка SWE-rebench и автором тг-канала @c0mmit. Добавляйте событие в календарь, чтобы не пропустить.