⚡ Студенты ШАДа и исследователи Яндекса выпустили MTGBench - бенчмарк для оценки рассуждений ИИ в текстовых задачах Он проверяет, учитывает ли модель новые вводные по ходу диалога и не противоречит ли своим прежним шагам. Внутри 7 текстовых игр на русском и английском. Оценивается и ответ, и число шагов до него. Что показал прогон 16 моделей: 🟢Reasoning уместен не везде. Сильнее всего он помогает в задачах с буквами и отсевом вариантов, слабее в задачах на знания и смысл. 🟢Высокий балл в одной игре не гарантирует успех в другой. 🟢На русском модели справляются хуже, особенно в буквенных играх. 🟢Сильнейшие модели с reasoning обошли людей по среднему баллу во всех семи играх. Статья уже в Findings EMNLP 2026. 🖥 GitHub @data_analysis_ml