📱 Мультимодальная модель на 35 млрд параметров работает на iPhone. Как? OpenBMB представила MiniCPM-V 4.7: старшую MoE-модель 35B-A3B и компактную версию 1B для локальной работы с изображениями и видео. Главная технология: LES, Lookahead Expert Scheduling. Система заранее предсказывает, какие эксперты понадобятся следующему слою, и подгружает их веса, совмещая загрузку с вычислениями. Прогноз управляет загрузкой, а не ответом модели. Если нужного эксперта не предсказали, его всё равно загружают и используют. Исходная маршрутизация сохраняется. По замерам команды, оптимизированный запуск даёт 13+ токенов/с на iPhone 17 Pro Max. Помимо LES используются послойная квантизация и спекулятивная генерация DSpark. Нюанс с «3 ГБ памяти»: это не означает, что все 35 млрд параметров помещаются в RAM. Часть весов остаётся в накопителе и загружается по необходимости. Ещё добавили сжатие визуальных токенов 4×/16× и Self-Replay Fine-Tuning для адаптации с меньшим забыванием прежних навыков. Старшая модель доступна под Apache 2.0. https://github.com/OpenBMB/MiniCPM-V https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B