OpenAI тоже решил рассказать про самообучающихся агентов. Видимо, горячая тема. https://cookbook.openai.com/examples/partners/self_evolving_agents/autonomous_agent_retraining Главная идея: обычно AI-агенты упираются в потолок после прототипа, потому что люди вручную чинят проблемы. А можно сделать петлю обратной связи, где агент сам учится на ошибках и улучшается. Как это работает: - Базовый агент (например, суммаризатор документов) - Фидбек - либо от человека, либо от LLM-судьи - Evals - оценка по критериям, пока не наберет нужный скор - Апдейт промпта → новый базовый агент Три подхода из статьи: 1) Platform Optimizer - быстро, но руками Как работает: Загружаешь датасет в платформу OpenAI Evals Настраиваешь промпт через веб-интерфейс Жмешь "Generate Output" - платформа прогоняет промпт по всему датасету Люди оценивают результаты (👍👎 + текстовый фидбек) Платформа показывает кнопку "Optimize" - она автоматически улучшает промпт на основе фидбека Повторяешь цикл пока не будет норм Плюсы: Быстрый старт, не нужен код Визуальный контроль - видишь как промпт эволюционирует Хорош для proof-of-concept и первых итераций Минусы: Ручная работа - люди должны оценивать каждый результат Не масштабируется на продакшн Нет API для автоматизации Останавливаешься когда достиг какого-то порога (~80% позитивного фидбека) 2) Статический метапромпт - автоматом, но может переобучаться на вашу задачу Как работает: Пока не_достигнут_порог: 1. Агент генерит результат по входным данным (например, саммари документа) 2. Набор "оценщиков" оценивает результат: - Запрограммированные проверки (например, проверка что все химические названия на месте) - Cosine similarity (насколько близок к нужному) - LLM-as-judge (общая оценка качества LLM моделью) 3. Если провалил - статический метапромпт (то есть промпт, который умеет генерить промпты под задачи) улучшает системный промпт 4. Повторяем с новым промптом Плюсы: Полная автоматизация - работает без людей Можно запускать 24/7 LLM-as-judge дешевле людей Версионирование промптов из коробки Минусы: Один статический метапромпт - ограниченное пространство для оптимизации Риск переобучения на конкретные примеры Оптимизирует section-by-section, без глобального контекста по задаче Может зациклиться на локальном максимуме 3) GEPA (Genetic-Pareto) - самый мощный, с рефлексией и валидацией на отдельном датасете Это уже полноценный эволюционный алгоритм: - Запускаешь агента на тренировочном датасете - Собираешь траектории (input → output → feedback) - Reflection LLM анализирует паттерны ошибок - Генерирут несколько промптов-кандидатов - Тестит каждого на тренировочном датасете - Отбирает Pareto-optimal (лучшее соотношение метрик) - Лучший кандидат тестится на отдельном валидационном датасете - Только если прошел валидацию - идет в продакшн - Процесс повторяется с новым базовым промптом - Каждая итерация учитывает историю предыдущих Плюсы: Самый мощный - реально обобщает, а не затачивается на задачу Train/validation split защищает от переобучения Reflective - понимает почему что-то работает/не работает Pareto-подход балансируетт разные метрики (длина vs точность vs coverage) Можно тестить разные модели (gpt-5 vs gpt-5-mini) одновременно Минусы: Медленно - 10-15 минут на оптимизацию Сложнее в настройке (нужна библиотека gepa + правильные адаптеры) Больше времени и денег на оптимизацию Overkill для простых задач В общем, начать лучше с ручной оптимизации, потом перейти на работу с промптами через API, а когда будет уже достаточно данных - запускать эволюционный алгоритм. Все довольно логично и здраво. Спасибо OpenAI за хороший обзор. В комментах кстати запосчу, с какого промпта начали и какой получился в конце