За последнюю неделю вышли две довольно любопытные работы по мультимодальной генерации. Первая рассматривает UMM в контексте нынче модных pixel-space картиночных диффузионок. Вторая — тех репорт про то как запихнуть аж 7 разных модальностей в одну модель. Representation Forcing for Bottleneck-Free Unified Multimodal Models Новелти работы в том что делают мультимодалку с генерацией картинок без использования VAE. Для этого: • Общая тушка сначала авторегрессионно предсказывает семантические картиночные токены, • Та же тушка, но уже в режиме пиксельной диффузионки догенерирует картинку. По заявлению авторов, в t2i их pixel-space RF догоняет SOTA мультимодальные генеративки использующие VAE, а по VLM бенчам даже лучше VAE-based варианта. Archon: A Unified Multimodal Model for Holistic Digital Human Generation Лютые китайцы взяли и обучили модельку с 72 задачами в 7 модальностях (text/audio/motion/visual/…) на входе и выходе. Минус в том что все сетапы игрушечные (CELEB-A для генерации картинок и тд). Ключевой инженерный трюк — сильно ужали представление видео (4× меньше токенов) + сделали семантический декодер для сохранения консистентности генерации. Еще понравилась часть про разложение неоднозначной мультимодальной генерации в пошаговую цепочку по модальностям для контроля/фиделити. Выглядит как будто модель для каждой модальности делает ризонинг в этой модальности. Метрик в абстракте нет, но заявляют сопоставимое качество на наборе генеративных задач. Отдельно хочется отметить показанный в аблейшене буст качества от кросс-модального взаимодействия. Утверждается, что модель умнеет от того что учится на все модальности сразу, но сетап для проверки этого утверждения не особо расписан, что уменьшает уверенность в нем.