Leiman Lab

@aiadepts · ai · Russian · active

Subscribers 9K tracking since 26 Oct
Reach per post (ERR) 5.5%494 avg views
Posting 0.9/week last 2 days ago
Reactions per 1K views 17.2 👾 ❤‍🔥 👏

Миф о роли эксперта: новую кнопку нашли, а чуда нет Ты когда нибудь надеялся, что правильная инструкция сделает модель всемогущей? Пенсильванский университет решил проверить этот трюк честно и спокойно. Как тестировали - Шесть моделей: GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash - Сложные вопросы аспирантского уровня по физике, химии, праву и другим дисциплинам - Три сценария: - Эксперт в теме - Эксперт не в теме - Тотальный новичок Что получилось - Роль эксперта почти не повышает точность ответов - Эксперт не по теме может даже ухудшить результат - Запрос стать ребенком стабильно дает худшие ответы - Gemini иногда отказывается отвечать, если "переживает" нехватку экспертизы Главный вывод - Назначение роли меняет тон и стиль, но не добавляет знаний - Полагаться на "Будь профессором квантовой физики" бессмысленно при решении сложных задач - Для качества ответа важнее ясный вопрос и правильные данные, а не титулы в промпте Железка умнее от ролевых игр не становится. Она уже знает ровно столько, сколько знает. Если ты все еще ищешь волшебный способ повысить точность, начни с формулировки вопроса. Четкость и контекст работают лучше любых регалий.

Views over time

01K2K14 Dec 16:4226 Oct 23:141.8K14 Dec 16:42: 0 views26 Oct 23:14: 1,830 views
Snapshots we took after posting.
WhenViews
14 Dec 2025, 16:420
26 Oct 2026, 23:141.8K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.