Vai al contenuto principale
← Torna alle notizie

vLLM v0.33.0rc3: CUDA 13.0, nuovi modelli MoE e decodifica speculativa su AMD

Strumenti e rilasci
Fonte:GitHub
927 commit e 389 contributor: vLLM passa a PyTorch 2.14 e Triton 3.8 con CUDA 13.0 unico, ruote ABI-stabili e image AWS EFA. Arrivano Beam-1.0 (501B MoE, 23B attivi) e Flint (40B, 2,5B attivi), e il refiner XPress con la verifica FLy porta 1,04-1,31x di decode su MI355X e B300.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.