Ollama (интерфейс для запуска разных опенсорсных LLM.локально) тут научилась эффективно работать с MLX, то есть будет гораздо быстрее работать на MacOS. Пишут, что по их данных на M5 Max рост – Prefill: 1810 tok/s (было 1154) – рост ~57% – Decode: 112 tok/s (было 58) – почти x2 Еще поддержали NVFP4-квантизацию от NVIDIA (сохраняет качество модели при 4-битном инференсе), сделали переиспользование кэща между чатами и запуск нужной модели в одну команду. Пока поддерживается Qwen3.5-35B-A3B с параметрами, оптимизированными для кодинга. Другие модели – в процессе. 112 токенов в секунду - это прям огненная скорость. Для быстрых фиксов по плану, который составила мощная модель - самое то. https://ollama.com/blog/mlx