Batching continuo

Tecnica di serving per cui le richieste in corso vengono raggruppate in batch in modo dinamico: quando una risposta finisce, il suo posto nel batch viene subito occupato dalla richiesta successiva in coda, senza aspettare che tutte le risposte del batch terminino. La GPU resta occupata quasi continuamente.