Китайские кандзи теперь стали бенчмарком для VLLM Вышел открытый Chronicles-OCR - новый визуальный бенчмарк для проверки, насколько хорошо мультимодальные модели понимают древние китайские иероглифы. Идея очень крутая: модели дают не современные аккуратные символы из шрифта, а реальные исторические формы письма за 3000 лет эволюции. В датасете: • 7 исторических стилей письма - от гадательных костей до скорописи • 2800 сбалансированных изображений • разные физические носители, где символы выглядят совсем не как “чистый OCR” • задачи на поиск символов, распознавание, разбор древнего текста и классификацию стиля письма Почему это интересно? Потому что обычный OCR проверяет, умеет ли модель читать текст. А Chronicles-OCR проверяет другое: понимает ли VLLM, как меняется визуальная форма одного и того же знака во времени, на разных материалах и в разных стилях письма. Для мультимодальных моделей это больное место. Символ может быть тем же самым по смыслу, но визуально выглядеть как совершенно другой объект. И здесь сразу видно, где модель реально “видит”, а где просто угадывает по паттернам. Paper: https://arxiv.org/abs/2605.11960 GitHub: https://github.com/VirtualLUOUCAS/Chronicles-OCR