Гостев из будущего

Google представил TurboQuant — алгоритм сжатия, который уменьшает потребление памяти в больших языковых моделях. Акции производители памяти припали: SanDisk −5.7%, Micron −3%, Western Digital −4.7%, Seagate −4%. Что такое TurboQuant? TurboQuant сжимает KV-кэш — временную память, в которой LLM хранит контекст разговора — до 3 бит без потери точности. Это даёт 6-кратное уменьшение размера памяти и до 8-кратное ускорение на GPU H100. KV-кэш — главное узкое место при инференсе: чем длиннее контекст, тем больше памяти нужно. Меньше памяти нужно моделям → меньше чипов покупают Micron, Samsung, SK Hynix. Cloudflare CEO Matthew Prince назвал это «DeepSeek-моментом Google» — по аналогии с тем, как DeepSeek показал, что можно делать мощные модели дешевле. @gostev_future