Ликвидная multimodal decision model. 🥳 Только сегодня мы обсудили на стриме поворот decision-models в сторону омни или мульти модальности. Так и вот оно уже тут. Модели LiquidAI/d1-3B и 0.6b-omni: Открытые мультимодальные модели, которые обрабатывают текст, и изображения, и еще аудио. 😜 Модели все также не генерируют токены. Вместо этого они выдают ответ за один прямой проход, что дает экстремально низкую задержку - 8 мс на RTX 4090 и 50 мс даже на Jetson Orin Nano. Архитектура построена на базе LFM2.5-VL-3B (decoder-only), использует логично энкодер для перевода изображения в эмбеддинги, модель размером 400M из семейства SigLIP2 NaFlex. Далее прокидывает это представление в спец токены текст модели. Контекст 32K токенов и словарь на 128K токенов. Upd. Омни модель жуёт ещё и аудио. Построена на LFM2.5-Encoder-350M (двунаправленный). 94М визуальный энкодер снова от SigLIP2 и 112M аудио-энкодера FastConformer. Контекст - 16K токенов. Принимает либо текст+изображение, либо текст+аудио (до 30 секунд речи). Лицензия своя - LFM Open License v1.0, условно бесплатно для коммерческого использования, пока годовая выручка компании не превышает $10 млн. 😳 Ага щазз я буду ещё следить за этим ога... 😐 В целом схема понятная работы, тем более сегодня 📦 называл точно такую же. Вам предлагаю, если хотите подобное сделать, то использовать ModernVBert. Останется только найти датасеты в oss и вашей игровой карты уровня 12-16гб vram вполне хватит, чтобы дотюнить 😏