In parole semplici, la cache KV (key-value) è una tecnica utilizzata per ottimizzare l'inferenza dei large language model (LLM) memorizzando i valori calcolati in precedenza in una cache KV, così questi valori non devono essere ricalcolati ogni volta che viene generato un nuovo token, cosa che altrimenti sarebbe necessaria.

Nota: per una panoramica tecnica più approfondita, consulta "Panoramica sulla cache KV di Hugging Face".

La maggior parte dei motori di inferenza memorizza la KV cache nella memoria GPU per impostazione predefinita. Questo funziona bene finché la domanda non aumenta. La dimensione della KV cache scala linearmente con la dimensione del batch (il numero di prompt elaborati contemporaneamente) e la lunghezza della sequenza (la lunghezza di ogni conversazione o flusso di generazione). Con l'espansione delle finestre di contesto, la diffusione delle chat multi-turno e l'aumento del numero di utenti e agenti che utilizzano i servizi di inferenza, i requisiti della KV cache possono superare rapidamente la memoria GPU disponibile. In tal caso, le voci utili della KV cache vengono spesso eliminate e il motore deve ricalcolare l'attenzione per i token già elaborati.

Lo scaricamento della KV cache risolve questo problema spostando la KV cache di un prompt già elaborato verso una destinazione esterna alla memoria della GPU o dell'acceleratore, come la RAM di sistema, il disco locale o lo storage condiviso. Le voci scaricate possono essere conservate finché la capacità lo consente e richiamate nuovamente quando arriva un prefisso o una richiesta successiva simile, invece di essere scartate quando la memoria della GPU si riempie. In pratica, queste destinazioni di scaricamento funzionano come uno spazio di swap tiered per la memoria della GPU: più lento della VRAM, ma più ampio e resistente, estendendo la quantità di contesto conversazionale e carico di lavoro simultaneo che il sistema può sostenere senza ripetute operazioni di prefill.

vLLM è un popolare motore di inferenza LLM open-source dalle performance elevate. In questa soluzione, è il motore che riceve le richieste degli utenti, genera le risposte e gestisce la KV cache all'interno della memoria GPU durante l'inferenza. vLLM è pluggable: puoi scegliere quale framework di offloading vuoi usare. Le sezioni seguenti descrivono come implementare uno stack di serving basato su vLLM con i framework di offloading più diffusi.

LMCache è un popolare framework open-source per l'offload della cache KV. Questa sezione descrive come implementare uno stack di serving basato su vLLM che utilizza LMCache per l'offload della cache KV. In questa implementazione, LMCache lavora con vLLM per spostare la cache KV dalla memoria GPU a tier più grandi come la RAM della CPU, il disco locale o lo storage condiviso (come StorageGRID S3 o un mount ONTAP NAS).

Nella configurazione predefinita, vLLM mantiene la cache solo nella memoria GPU. Con l'aumentare del carico di sistema, questo diventa il collo di bottiglia. In questa soluzione, vLLM viene abbinato a LMCache, dove vLLM gestisce il modello, mentre LMCache si occupa del trasferimento e del riutilizzo della cache tra CPU e storage NetApp condiviso. LMCache si connette a vLLM tramite un connettore; lo abiliti all'avvio con il flag --kv-transfer-config di vLLM, così vLLM e LMCache salvano la cache nello storage e la ricaricano in caso di cache hit.

La modalità in-process è il metodo originale per eseguire LMCache con vLLM. Quando usi la modalità in-process, LMCache viene eseguito all'interno del processo vLLM. Le versioni successive di LMCache hanno aggiunto la modalità multiprocess, che è l'approccio attualmente consigliato per un migliore supporto delle funzionalità e prestazioni. Questa sezione tratta la modalità in-process, che è segnata come deprecata nella documentazione attuale di LMCache. Per le nuove implementazioni, valuta invece l'uso della modalità multiprocess.

Per questa implementazione, dovrai: