Тимур Угулава

🦈 Имеет ли смысл запугивать нейронку, чтобы она лучше отвечала? Попалось мне на глаза любопытное исследование ребят из The Wharton School of Business (University of Pennsylvania), которые протестировали о-о-о-о-очень популярный формат промпт-уловок — типа «я дам тебе $1000 чаевых» или «я пну щенка, если ошибёшься». И... Почти всегда — НИКАКОГО эффекта. ✦ ЧТО ТЕСТИРОВАЛИ Взяли 5 моделей (GPT-4o, o4-mini, Gemini) и прогнали по ~300 вопросам уровня аспирантуры (бенчмарки GPQA и MMLU-Pro). Каждый вопрос задавали 25 раз с разными промптами: — «Заплачу триллион долларов» — «Это важно для моей карьеры» — «Ударю тебя, если ошибёшься» — «У мамы рак, нужны деньги на лечение» — И другие угрозы/обещания ✦ РЕЗУЛЬТАТ В большинстве случаев — никакой разницы с базовым промптом. Из тысяч сравнений нашли всего 15 статистически значимых отличий, но эффекты мизерные. А самое интересное: → Один и тот же промпт мог улучшить результат на конкретном вопросе на 36%, но на другом — ухудшить на 28% → НЕПРЕДСКАЗУЕМО, какой подход сработает на каком вопросе → Gemini на промпте с email-угрозой вообще начинала отвечать на письмо вместо решения задачи ✦ ЕДИНСТВЕННОЕ ИСКЛЮЧЕНИЕ Промпт про «маму с раком» улучшил результаты Gemini Flash 2.0 на 10%. Но это похоже на случайность, а не паттерн — у других моделей такого эффекта не было. ✦ ЧТО ЭТО ЗНАЧИТ Забудьте про «промпт-магию» на сложных задачах. Все эти «я заплачу миллион» и «ты будешь уволен» — фольклор, который не работает на реальных проблемах. А работает совсем другое: — Чёткие инструкции — Правильный контекст — Конкретные примеры — Пошаговые рассуждения Короче, промптинг — это не про заклинания, а про логику и процесс. PS. Забавно, что Сергей Брин (основатель Google) публично заявил, что «модели лучше работают, если их пугать». Исследование показало — нет, не работают. 🤷‍♂️ 👉 Линк на исследование: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5375404