Давно мы про картиночные модели не писали. А тут собрали супербыстрый UltraViT для мобильных (для одного конкретного S25 пока), который даёт сумасшедшие почти 150 кадров в секунду. Микс быстрых свёрток вначале и полноценного внимания в конце с разреженными и поканальными блоками посередине. А кроме быстрой архитектуры ещё и хитрый пайплайн дистилляции. UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models Ioannis Maniadis Metaxas, Adrian Bulat, Alberto Baldrati, Anestis Zaganidis, Yassine Ouali, Hyeonuk Kim, and Georgios Tzimiropoulos Paper: https://arxiv.org/abs/2607.23373 Review: https://arxiviq.substack.com/p/ultravit-latency-optimized-on-device ЧТО сделали: Предложили UltraViT — четырёхступенчатый пирамидальный визуальный энкодер для мобильных визуально-языковых моделей (LVLM). Операции перемешивания токенов на каждом этапе подбирали по реальным замерам задержки на мобильном NPU. Для предобучения использовали двухэтапную схему: сначала плотную пространственную дистилляцию признаков, затем генеративное обучение через замороженную языковую модель с чередованием декодеров разного размера. ЧТО получили: В составе LLaVA-OneVision (модель назвали UltraVLM) энкодер обходит переобученную FastVLM на задачах визуальных вопросов и ответов: DocVQA (71.8% против 66.7%), ChartQA (72.2% против 66.0%) и TextVQA (68.9% против 62.9%). На мобильном NPU в разрешении 512 × 512 он выдаёт 148.9 инференса в секунду против 91.4 у FastVLM и 7.6 у SigLIP-400M. ПОЧЕМУ это важно: UltraViT снижает задержку кодирования картинки при 512 × 512 до 6.6 мс и сжимает число визуальных токенов в 16 раз прямо внутри архитектуры, без их последующего прунинга. Правда, отрыв по точности от FastVLM во многом объясняется двухэтапным рецептом предобучения, который к бейзлайну в основном сравнении не применяли. Быстро фигачить картинки тут: https://t.me/gonzo_ML_podcasts/4834