AI-Driven Development. Родион Мостовой

Промпт-инжиниринг умер... или нет? Действительно, нынешние модели (reasoning версии, прежде всего) теперь менее капризны и придирчивы к промптингу, но тем не менее все еще остается множество нюансов, которые следует учитывать при создании/отладке промпта. И часть из них совсем неочевидны. Мы в CodeAlive постоянно улучшаем наши промпты и недавно прямо через промпт сделали файлы кликабельными, на основе этих скиллов генерируется ответ (LLM просто оборачивает название файла в ссылку). Сделали, написали тест - все ок. Но через какое-то время мы заметили, что чатик периодически выплёвывает сырые XML-теги прямо в ответ. Пользователь спрашивает про код, а ему в ответе почти рандомно вылетает <repository_links>. Вроде мелочь, но выглядит как баг - надо фиксить. Короче, как вы уже поняли, проблема оказалась в промпте - мы активно используем технику с XML-тегами для структурирования инпута в LLM, и в некоторых местах, когда нужно сослаться на конкретную секцию писали что-то вроде "в секции <smthng> лежат ссылки на репозитории" - так вот, этот нюанс, что мы ссылались именно через тэг и создавал тот неприятный артефакт в ответе от LLM. В принципе, починилось это простым выпиливанием скобок: "см. секцию <repository_links>" -> "см. секцию repository_links" Ну, в общем, чтоб во всех этих техниках, ошибках и мис-юзах не утонуть, я, уже по традиции, соорудил скилл для вашего агента, который умеет как писать новые промпты, так и проводит аудит существующих - техник и ошибок там довольно много всяких с четким описанием юзкейсов, так что в должно быть полезно всем, кто хоть как-то соприкасается с промптингом. Скилл: https://github.com/CodeAlive-AI/prompt-engineering-skill Ставится одной командой: npx skills add CodeAlive-AI/prompt-engineering-skill — Кстати, про автоматизированную отладку и улучшение промптов (мета-промптинг) я уже рассказывал в своем посте - ведь как бы здорово вы не написали промпт, все равно нужно провести ряд экспериментов конкретно на вашей LLM, чтобы убедиться, что все работает корректно. Расскажите в комментариях о ваших факапах с промптингом и неочевидными техниками, которые пришлось применить, чтобы достичь желаемого результата. @ai_driven