GPT-5.6 решил кубик за 17 секунд, а DeepSeek потратил 27 млн токенов за $0,56 Четырём топовым моделям дали необычный агентный тест: самостоятельно построить в Three.js интерактивные стенды для кубика Рубика и шахмат, а затем выполнить задания прямо внутри созданных приложений. В эксперименте участвовали: - GPT-5.6 Sol; - DeepSeek V4 Flash 0731; - Qwen 3.8 Max; - Kimi K3. Сначала модели получили одинаковую комбинацию кубика Рубика. GPT-5.6 Sol решил её за 24 хода и 17 секунд. DeepSeek справился за 32 хода. Qwen сдался после 96 ходов, а Kimi - после 207. Затем каждая модель построила шахматную доску и сыграла белыми против Claude Opus 5 без движка, дебютной базы и подсказок. Победить Claude не смог никто: - DeepSeek сдался на 13-м ходу; - GPT-5.6 Sol - на 19-м; - Kimi K3 - на 21-м; - Qwen продержался до 29-го. По скорости разработки GPT-5.6 разгромил остальных: GPT-5.6 Sol 16 мин 43 сек DeepSeek 97 мин 39 сек Kimi K3 166 мин 09 сек Qwen 3.8 Max 215 мин 08 сек Стоимость: DeepSeek использовал больше всех токенов: 27,4 млн и пять попыток на создание рабочих стендов. Несмотря на это, весь эксперимент обошёлся всего в $0,557. Для сравнения: DeepSeek $0,557 GPT-5.6 Sol $6,319 Qwen 3.8 Max $10,270 Kimi K3 $16,667 Получились четыре совершенно разных профиля: - GPT-5.6 Sol - самый быстрый и экономный по токенам, но пропустил баг, из-за которого при взятии исчезала не та фигура; - DeepSeek - часто ошибается с первой попытки, зато может повторять снова и снова почти бесплатно; - Qwen - самый медленный, но показал наиболее аккуратную шахматную игру; - Kimi - активно проверял собственные результаты, но оказался самым дорогим и не справился с кубиком. Иногда важнее получить результат за 17 минут. Иногда - иметь возможность сделать пять попыток за полдоллара. Важно: это авторский эксперимент в Hermes Agent CLI, а не стандартизированный независимый бенчмарк.
Технозаметки Малышева
Subscribers
13.3K
+0 24h
Reach per post (ERR)
20.6%2.7K avg views
Posting
10.5/day
last 2 hours ago
Reactions per 1K views
10.8
🔥 😁 ✍
Views over time
| When | Views |
|---|---|
| 6 Aug 2026, 11:18 | 0 |
| 11 Nov 2026, 20:49 | 2.3K |
Who shared this post
Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)
Nobody yet.