Prefill
ModelliLa prima fase di inferenza, in cui il modello elabora il prompt in ingresso (tutti i token) in una sola passata. Determina il tempo al primo token: quasi istantaneo su GPU, può richiedere alcuni secondi su CPU per prompt lunghi.
La prima fase di inferenza, in cui il modello elabora il prompt in ingresso (tutti i token) in una sola passata. Determina il tempo al primo token: quasi istantaneo su GPU, può richiedere alcuni secondi su CPU per prompt lunghi.