Недавно на Хабре было представлено исследование, посвященное работе российских ИИ-моделей на пяти открытых бенчмарках. В эту проверку были включены такие проекты, как Алиса, GigaChat Max и GigaChat Ultra, с акцентом на задачи, требующие сложного и многоступенчатого подхода, включая код, документы и последовательность действий. Результаты исследования свидетельствуют о заметном прогрессе в российской ИИ-отрасли. Исследование показало, что с увеличением сложности задач GigaChat демонстрирует значительно лучшие результаты по сравнению с Алисой. Например, в тесте Arena-Hard, который включает 750 задач с кодом и развёрнутыми кейсами, GigaChat значительно опережает Алису. Наиболее заметная разница наблюдается в ситуациях, где требуется длительное удержание инструкций. В тесте MultiChallenge GigaChat Ultra достигла 46% успешных ответов, в то время как Алиса смогла лишь на 15%. В тесте τ³, который оценивает соблюдение правил CRM, GigaChat Ultra корректно завершила 66% сценариев, в то время как показатели Max и Алисы варьировались от 8% до 12%. Однако в тесте WildBench результаты моделей оказались близки, а в поисковой части ПРАКТ-120 Алиса показала свои сильные стороны. Таким образом, результаты исследования ясно демонстрируют, что суверенные модели адаптируются к автоматизации сложных рабочих процессов и показывают уверенные достижения в области ИИ.
Media повестка RU
Subscribers
83.9K
−1.1K 24h
Reach per post (ERR)
14.3%12K avg views
Posting
15.9/day
last 33 minutes ago
Reactions per 1K views
0.0
Views over time
| When | Views |
|---|---|
| 18 Sep 2026, 13:39 | 0 |
| 12 Nov 2026, 02:52 | 13.2K |
Who shared this post
Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)
Nobody yet.