LMSYS запустили Arena Expert – новую систему оценки LLM на реальных экспертных задачах. В чём идея: Обычная Chatbot Arena отлично работает для средних задач, но не показывает, как модели справляются с реальным экспертным уровнем – задачами математиков, врачей, программистов, юристов. Теперь появился отдельный лидерборд для таких промптов. Как определяют "эксперта": Только 5.5% всех промптов попадают в категорию Expert Используют DeepSeek-v3 для автоматической разметки по признакам глубокого понимания домена Промпты должны демонстрировать продвинутое рассуждение, а не просто сложность В прошлом году была категория Arena Hard – она захватывала ~33% промптов. Expert гораздо жёстче – всего 5.5%. Ключевое отличие: Hard промпты могут быть просто технически сложными. Expert – это когда промпт явно от человека, который глубоко разбирается в теме. Результаты топ-6: Claude Sonnet 4.5 (thinking-32k) Claude Opus 4.1 (thinking-16k) Gemini 2.5 Pro Qwen3 Max Preview Qwen3-235b Thinking GPT-5 High Дополнительно ввели разбивку промптов по 23 профессиональным категориям. Самые популярные: Software and IT Services – 28% Writing, Literature, and Language – 25% Life, Physical, and Social Science – 17% Итого получилось, что Claude доминирует в Software и Mathematical, Gemini 2.5 Pro лидирует в Writing и Science, OpenAI модели сильны в Medicine Для определения лучшего "универсала" пересчитали рейтинг с равными весами по всем категориям. Результат: 1) Gemini 2.5 Pro 2) Claude Opus 4.1 3) o3 и GPT-5 Еще сравнили арену с GDPal (экспертных задачах с человеческой разметкой). LMArena использует автоматическую разметку LLM. Порядок моделей в обоих случаях почти идентичен, что говорит: автоматическая разметка большого объёма данных может конкурировать с аккуратно размеченными бенчмарками. В общем, если используете LLM для экспертных задач (код, математика, наука), смотрите на Expert лидерборд и специализированные категории, а не только на Overall. Полный отчёт с примерами промптов: https://news.lmarena.ai/arena-expert/ Dataset: https://huggingface.co/lmarena-ai Смотреть результаты тут: https://lmarena.ai/leaderboard/text/expert