Наконец-то большие LLM можно запустить прямо на макбуке — и нет, не благодаря Тиму Куку. Разраб попросил Claude Code поднять Qwen на безумные 397B параметров на M3 Max с 48 ГБ. Чтобы ИИ нашел способ, гений скормил ему: — репу Андрея Карпаты Autoresearch; — ресерч от Apple «LLM in a Flash». И это сработало — ИИ сам нашёл способ оптимизировать модель! Сначала было ~1 токен/сек, но спустя еще 3 часа работы стало ~4.7 токена/сек при ~6 ГБ RAM благодаря MLX. Хозяюшке на заметку 😏