Глеб Кудрявцев — мастер AI

Я говорил, что самая сложная фигня в агентском кодинге — это диффы. Так вот, я вас обманул. На самом деле самая сложная часть — это отладка агентов. Нечеткие агентские пайплайны склонны ломаться на чем угодно, а тестируются очень тяжело, ибо вариативность которую может подкидывать живая апишка LLM бесконечна. В итоге, в пайплайнах, могут возникать какие-то абсолютно сумрачные состояния, которые непонятно откуда и почему вообще взялись. И оптимизации промптов чтобы добиться "нужной" логики упираются в то, что полноценно описать, что же мы считаем нужным поведением крайне сложно, да и гонять этот датасет каждый раз весьма накладно. Грубо говоря, промпты агентов — это код, который тоже нужно тестировать, только он еще и динамически генерится по ходу, то есть ну капец вообще что такое. Послушаю ваши умные мысли, как бы вы подходили к этой проблеме, и может люди уже все придумали и порешали.