🚨 Теперь можно запускать 70B LLM на видеокарте с 4GB VRAM AirLLM буквально выбивает почву из аргумента “для больших моделей нужно дорогое железо”. Фреймворк позволяет запускать модели размером до 70B параметров даже на GPU с 4GB видеопамяти. Как это возможно? Вместо загрузки всей модели в память сразу, AirLLM: - подгружает модель по слоям - выполняет вычисления - освобождает память - переходит к следующему слою Фактически, это потоковая обработка модели. Более того, авторы показывают запуск Llama 3.1 405B на 8GB VRAM. Что это даёт разработчикам: - не требуется квантование по умолчанию - можно запускать Llama, Qwen, Mistral, Mixtral локально - работает на Linux, Windows и macOS - не нужен сервер с огромным GPU Это сдвигает барьер входа для локального LLM-разработки и экспериментов. AirLLM полностью open source - можно использовать, изучать и встраивать в свои пайплайны. https://github.com/0xSojalSec/airllm