Дамы и господа, СЕО Snowflake о GLM 5.2 и Claude Opus4.7 Они протестировали китайскую модель GLM-5.2 и Claude Opus 4.7 на реальных задачах, и СЕО опубликовал тред с результатами тестирования команды Coco на dbt-bench - 103 задачи, 3 попытки каждая. Цифры получились такие: - Pass@1: 47.6% (GLM) vs 53.7% (Opus). Claude выигрывает на 6 пп с первой попытки - Pass@3: 66% GLM vs 67% Opus при трёх попытках почти ничья - Токены: 860M vs 439M. GLM потребляет вдвое больше - Ходы: 99 avg vs 80. GLM делает больше шагов на задачу и тратит почти в 2 раза больше токенов Но есть 2 характерных фейла у GLM: 1. Рано сдаётся и даже не пытается писать код. 2. Уходит в спираль: 411 вызовов инструментов за 24 минуты, проверяет всё подряд… и всё равно фейл. Opus же работает чище, эффективнее и реже уходит в овер верификацию неправильных осей. Вывод СЕО Snowflake такой: объём верификации не предсказывает правильность. Модель может проверять всё подряд и всё равно проиграть, если верифицирует не те оси. При этом Snowflake в восторге от GLM-5.2 и планирует интегрировать его для клиентов Coco. Для рынка ИИ-агентов это важный момент, так как эффективны те агенты, которые делают не больше шагов, а правильные шаги. Эффективность траектории становится новой метрикой качества - дороже, чем точность на бенчмарке.