Синтетики: не совсем дешево, довольно сердито, очень интересно Продолжаем экспериментировать с синтетическими респондентами - смоделированными потребителями, которые могут проходить опросы вместо реальных людей (подробно рассказывали об этом тренде в исследованиях год назад). Наше исследовательское агентство CUBE уже подключало синтетиков к анализу креативов, а недавно коллеги провели «валидацию синтетических респондентов» (Synthetic Persona Validation). Звучит несколько устрашающе, но схема простая: мы взяли реальное количественное исследование CUBE и повторили его на российской платформе синтетических респондентов. LLM отвечала на вопросы об инвестициях: какие мотивы и барьеры для старта, возможная сумма инвестиций, сроки, источники знаний, текущие способы сбережений. А затем мы сравнили ответы реальных и смоделированных потребителей. Если вкратце, ответы синтетиков недостаточно корректны, чтобы только на их базе принимать те или иные маркетинговые решения. - ИИ слишком типичен. Из предложенных вариантов LLM выбирает наиболее очевидные, что снижает долю или совсем нивелирует инсайты исследования - ИИ слишком рационален. LLM не отвечает «не знаю» и выбирает наиболее логичные (но в реальности наименее распространенные) сценарии поведения, это искажает картину реальных мотивов и барьеров потребителя - ИИ слишком сфокусирован. LLM выбирает меньше вариантов ответов в сравнении с человеком (у нас разница доходила до х3), что затрудняет оценку веса факторов. - ИИ не доверяет человеку (это, видимо, взаимно). LLM исключает человеческие факторы (рекомендации, отзывы) из контекста принятия решений. Подробности в карточках, как и вывод, который продублируем. На текущий момент работает модель synthetic-first, real-confirmed – синтетики помогают спроектировать дизайн исследования, получить базовые гипотезы, которые необходимо проверять и оценивать на реальных потребителях. От себя добавим, с учетом темпов развития LLM так точно будет не всегда. Stay synthetic🤖