Тантор Лабс представила новую технологию KV-cache offloading Компания «Тантор Лабс» и разработчик платформы «Боцман» представили новую технологию KV-cache offloading, которая не использует память DRAM. Эта программно-аппаратная система работает на специализированном оборудовании и позволяет использовать NVMe-хранилище для кэширования данных нейросетей. Технология снижает зависимость от дорогостоящей HBM-памяти и DRAM, что увеличивает количество одновременно обслуживаемых пользователей и ускоряет обработку запросов. При этом скорость доступа к данным сопоставима с DRAM, но стоимость хранения данных значительно ниже. 📢 Telegram 💬 MAX