NVIDIA Researchers Introduce KVTC Transform Coding Pipeline to Compress Key-Value Caches by 20x for Efficient LLM Serving

NVIDIA zaprezentowała KVTC, innowacyjną technikę kompresji pamięci podręcznej klucz-wartość (KV cache) dla dużych modeli językowych (LLM), która pozwala na redukcję rozmiaru nawet 20-krotnie przy minimalnej utracie dokładności. Metoda ta znacząco usprawnia serwowanie LLM, zmniejszając zapotrzebowanie na pamięć GPU i redukując opóźnienia w odpowiedziach.