Ого, Google выкатили TurboQuant — и это может перевернуть индустрию! Новый алгоритм сжимает LLM, уменьшая память под KV-cache минимум в 6 раз и ускоряя инференс до 8 раз. При этом в тестах заявляют, что нет потери в точности. Проще говоря: то, что раньше требовало серьёзных ресурсов, теперь можно запускать локально. Что это меняет: — Тяжёлые модели начинают помещаться в обычные устройства вроде Mac Mini; — Появляется шанс запускать нормальный ИИ прямо на телефоне; — Скорость растёт, стоимость падает; Google опять рвет рынок 💪