Гигантскую модель на 35b параметров теперь можно запустить на АЙФОНЕ — вышел опенсорсный движок Edge0. Он позволяет крутить локальные нейронки с архитектурой MoE без нагрузки на оперативку — в пике используются всего 1-2,5 ГБ. Секрет оптимизации следующий: вместо RAM используется флеш-память айфона. Есть модели на 8B и 35B — для последней нужен будет iPhone 15 Pro и новее. Код забираем на GitHub. 📲 Технотренды