Anthropic выпустил исследование, где показал, что «эксперты», использующие ИИ, чаще всего превращаются в «мясной прокси» для LLM, причём приписывают себе достижения ИИ. В слепом эксперименте Anthropic показали, что аналитики соглашались со склонностью агента в 86% случаев. 77% повторяли аргумент агента почти дословно хотя бы в одном ответе. Только 15% экспертов приписали заслугу ИИ-агенту. Anthropic специально менял дерево решений агентов, как показано на видео, чтобы водить экспертов разными путями — и 86% аналитиков ходили за ИИ-агентом как козёл за морковкой. Иными словами, реально метод решения выбирал ИИ, а не человек. Это весьма серьёзная проблема. Для начала видно, что человек в такой организации взаимодействия с ИИ практически «лишнее звено», т.к. решения реально принимает ИИ, поэтому обычных «экспертов» можно убрать, если это просто медленный «мясной прокси» к ИИ. В то же время возрастает значимость практик по рассмотрению разных вариантов решений от ИИ плюс применение агентов-критиков. Без такого продвинутого опыта управления ИИ-агентами большинство кожаных экспертов будут более осмысленны для общества как кассиры в «Пятёрочке». В любом случае вы должны себе отдавать отчёт, что велика вероятность, что не вы управляете ИИ, а он вами, если вы не предпринимаете специальных методик работы с агентами. https://www.anthropic.com/research/agents-judgment-calls