Сбер выпустил обновлённую версию GigaEmbeddings для поиска по документам и создания RAG-систем 📰 Линейка из трёх моделей разного размера совместима с популярными инструментами для запуска ИИ-моделей vLLM и SGLang и бесплатно доступна разработчикам и бизнесу под открытой лицензией MIT. По сравнению с прошлым поколением линейка заметно прибавила в качестве и скорости: ➡️ Флагманская модель 10B-A1.8B заняла первое место в рейтинге ruMTEB. ➡️ Модель 3B стала в 1,6 раза быстрее и показала наибольший прирост качества — способность обрабатывать код выросла на 14,5 пункта. ➡️Самая компактная модель 480M стала лучшей на русском языке среди моделей до 500 млн параметров. Полные результаты тестирования доступны в открытом рейтинге. Как обучали модели Команда изменила архитектуру модели, чтобы её было проще внедрять с помощью стандартных открытых инструментов. Объём данных для обучения вырос в несколько раз — в том числе за счёт открытых датасетов Nemotron, F2LLM и KALM, — и это дало основной прирост качества. Баланс языков сохранили за счёт использования мержинга экспертов на всех этапах обучения: так удалось не потерять качество на русском при усилении английского и кода. Самую компактную модель обучили с помощью дистилляции — она усваивает ответы у более крупных и точных моделей. Забирайте модели в свои проекты по ссылкам: HF: 480M 3B 10B-A1.8B Gitverse: 480M 3B 10B-A1.8B Подробности читайте в посте команды 💻