О, полезное LMSYS запустили Code Arena – полный редизайн WebDev Arena для оценки AI-моделей в реальной разработке. В чём проблема с обычными кодовыми бенчмарками: Традиционные тесты проверяют корректность: компилируется ли код, проходит ли тесты. Но реальная разработка – это итеративный процесс: планирование, тестирование, рефакторинг. Нужно измерять не "может ли модель писать код", а "насколько хорошо она строит приложения end-to-end". Что нового в Code Arena: - Модели работают как autonomous agents с tool calls (create_file, edit_file, read_file) - Многоходовое выполнение – модель итерирует, редактирует, улучшает код в несколько шагов, как в текущем AI IDE. - Есть рекурсивные правки и управление зависимостями - Каждое действие логируется и версионируется - Снапшоты хранятся в Cloudflare R2, можно проверить каждый шаг - Каждую генерацию можно расшарить по уникальной ссылке - Приложения рендерятся в реальном времени через CodeMirror 6 - Живой preview для тестирования - Полная структура проекта (HTML, CSS, JS) доступна для просмотра Пока данных нет, потому что это свежий бенч, но можно просить создавать всякие сайтики и голосовать за лучшее. А потом забирать например лучший результат себе. Дальше будут обновлять и улучшать: - Multi-file React приложения (вместо single-file прототипов) - Агентская поддержка и мультимодальные инпуты (картиночки там, документы) - Изолированные песочницы В общем, тестирование теперь на реальных задачах и кажется можно будет наконец понять, кто круче, Claude, Gemini-2.5 Pro или GPT-5 Codex. Подробности: https://news.lmarena.ai/code-arena/ Сравнивать модели тут: https://lmarena.ai/?chat-modality=code