Latenza

Il tempo che passa tra la richiesta e la risposta del modello. In locale dipende soprattutto dalla velocità di generazione (token al secondo), che a sua volta dipende dalla dimensione dei pesi che vanno riletti a ogni token: sotto i ~15 token/s l'uso interattivo inizia a essere fastidioso, qualunque sia la qualità delle risposte.