Lance: Unified Multimodal Modeling by Multi-Task Synergy [код и веса на странице проекта] ByteDance продолжают заниматься мультимодальной генерацией, выпуская один техрепорт за другим. При этом, очередная модель под названием Lance имеет не так много отличий от своих предшественников: • Задачи: к стандартным задачам i2i, t2i, VLM и LLM генерации добавляют генерацию и редактирование видео; • Размер: при этом, модель буквально микроскопическая - всего 3В параметров; • Архитектура: в стандартную для мультимодалок dual-stream архитектуру добавили новый Modality-aware Rotary Positional Encoding блок, позволяющий более легковесно и, при этом, однозначно кодировать весь зоопарк мультимодальных данных, еще и закодированных разными энкодерами; • Обучение: сравнительно нестандартно учат на мультимодальных данных сразу, то есть не делая более простого претрена на одну, заранее выбранную модельность. Основной фокус работы Синергия между задачами. Авторы подобрали данные и сетап обучения, позволяющие улучшить качество относительно обучения на отдельные задачи. Другие детали • В выборе авторегрессия против диффузии авторы делают пока что стандартный выбор: AR для генерациий текстов, диффузия для генерации картинок и видео • Энкодеры для генерации и понимания картинок берут отдельно (никаких RAE-подобных унифицированных представлений) • Унификацию бекбона авторы избегают. Следуя примеру Bagel и HunyuanImage 3.0 они разделяют ветки понимания и генерации изображений, обосновывая это наблюдениями о разнонаправленной оптимизации для этих двух задач. Последний пункт кажется особенно интересным, поскольку он как будто не вяжется с экспериментальными результатами. С одной стороны, аблейшены показывают, что между задачами есть синергия и учить одну модель для мультимодальной генерации полезно. С другой стороны, кодировать всё в единую тушку оптимизационно сложная задача и все успешные архитектуры разделяют стримы генерации и понимания. Вывод: По всей видимости, существует некий баланс раннего и позднего фьюзинга задач, обеспечивающий синергию знаний, но не мешающий оптимизации, поиском которого сейчас занимаются на практике. И кажется, что скорее всего именно это является лимитирующим фактором роста качества, а не скейлинг размера моделей и данная 3В моделька тому подтверждение.