НИИ ИИ

@ai_rostov · ai · Russian · active

Subscribers 4.4K Subscribers, last 30 days: 4.3K → 4.4K +40 24h
Reach per post (ERR) 23.0%1K avg views
Posting 10.6/day last 2 hours ago
Reactions per 1K views 3.1 ⭐

Продолжаю оптимизировать свои рабочие процессы под новую модель. У OpenAI нашлось ещё одно полезное руководство: как проверять, что изменения в навыках ИИ-агента действительно улучшают его работу. Навык — это набор инструкций для определённой задачи. Его можно переписывать бесконечно, но по одному удачному ответу сложно понять, стало ли лучше. В руководстве предлагают использовать evals: давать агенту одинаковые тестовые задачи и сравнивать результат с заранее заданными требованиями. Например, агент готовит итоги встречи. Если участники назвали срок, он должен сохранить его точно. Если срок не обсуждали, не придумывать. Если идею только предложили, не записывать её в принятые решения. Теперь есть конкретные вещи, которые можно проверить до и после изменения инструкции. Для начала OpenAI рекомендует небольшой набор из 10–20 запросов. Его можно постепенно пополнять ситуациями, в которых агент ошибается и вам приходится доделывать работу вручную. Рекомендую попробовать на одном своём повторяющемся процессе. Особенно если вы сейчас тоже переходите на новую модель и пересматриваете инструкции. С такими проверками гораздо понятнее, какие изменения стоит оставить. Руководство OpenAI

Views over time

020040060016 Sep 13:3112 Nov 01:1056216 Sep 13:31: 0 views12 Nov 01:10: 562 views
Snapshots we took after posting.
WhenViews
16 Sep 2026, 13:310
12 Nov 2026, 01:10562

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.