Агент скрыл с сайта около 30 компаний. Проверял их по моим правилам. Утром агент, который проверял карточки компаний для Scaling Club, сообщил, что нашёл новые компании. Заодно часть карточек не прошла его проверку. Публикацию одних он заблокировал, другие снял с сайта. Я не сразу обратил на это внимание. Позже открыл карту рынка и обнаружил, что ряда крупных компаний, по которым мы уже собирали сведения и делали публикации, там нет. Данные сохранились, карточки оказались скрыты с сайта. Я делаю Scaling Club как карту рынка образования. Хочу, чтобы предприниматель мог посмотреть, кто работает в его сегменте, какие у компаний бизнес-модели, обороты и форматы работы. О том, как устроена команда, которая её собирает, писал раньше. В этом случае агент либо неправильно применил мои правила, либо я сформулировал их недостаточно точно. С новой информацией возникла путаница в названиях, юридических лицах и структуре холдингов. Пришлось вручную разбирать, что именно он посчитал неподходящим, показывать, где находятся корректные данные и как связаны рекламные лендинги с официальными страницами компаний. Одновременно пришлось пересматривать критерии отбора. Я попросил агента задать мне 50 вопросов, на которые можно ответить «да» или «нет». Корректная информация? Публикуем? Добавляем этот факт в карточку? По моим ответам он формулировал правила. Большая часть калибровки касалась того, как отличать сведения о компании от её собственной оценки себя. Отдельно проверяли юридические лица. Из какого источника взяты сведения, к какой компании они относятся, как связаны название продукта, бренд и организация. Мне благодаря знанию рынка проще замечать несоответствия, агенту эти связи приходится находить и подтверждать. Я уточнил требования к официальным источникам, ссылкам и проверке данных. Масштаб стал понятен, когда я сам посмотрел на карту. После разбора на неё вернули все компании из этой группы, примерно 30. На основе этого опыта я собрал Markdown-промпт, который можно использовать в своём проекте. Даёте его агенту в рабочем диалоге и называете тему, по которой хотите уточнить решения. Он просматривает доступную историю, находит обсуждения, отклонённые варианты, противоречия и задаёт 50 вопросов по одному. Следующие вопросы подбирает с учётом ваших ответов. Такой разбор можно использовать для своих материалов, правок продукта или результатов исследования. На выходе получается журнал решений, проект правил и список того, что ещё не удалось согласовать. Видно, где вы принимаете информацию без дополнительных условий, где требуете подтверждение и в каких случаях агент должен принести вопрос вам. Если ответы противоречат друг другу, это тоже остаётся в разборе. Какую задачу из своего проекта вы бы взяли для такой калибровки? Промпт — следующим постом.