VRAM

Video RAM. La memoria dedicata della scheda grafica (GPU). È la risorsa critica per l'inferenza locale: un modello 7B quantizzato a 4-bit richiede circa 5 GB di VRAM, un modello 13B circa 9 GB. Quando la VRAM non è sufficiente, il sistema può usare la RAM di sistema, ma con prestazioni ridotte.