Продолжаю оптимизировать свои рабочие процессы под новую модель. У OpenAI нашлось ещё одно полезное руководство: как проверять, что изменения в навыках ИИ-агента действительно улучшают его работу. Навык — это набор инструкций для определённой задачи. Его можно переписывать бесконечно, но по одному удачному ответу сложно понять, стало ли лучше. В руководстве предлагают использовать evals: давать агенту одинаковые тестовые задачи и сравнивать результат с заранее заданными требованиями. Например, агент готовит итоги встречи. Если участники назвали срок, он должен сохранить его точно. Если срок не обсуждали, не придумывать. Если идею только предложили, не записывать её в принятые решения. Теперь есть конкретные вещи, которые можно проверить до и после изменения инструкции. Для начала OpenAI рекомендует небольшой набор из 10–20 запросов. Его можно постепенно пополнять ситуациями, в которых агент ошибается и вам приходится доделывать работу вручную. Рекомендую попробовать на одном своём повторяющемся процессе. Особенно если вы сейчас тоже переходите на новую модель и пересматриваете инструкции. С такими проверками гораздо понятнее, какие изменения стоит оставить. Руководство OpenAI