Risorse

Strumenti, framework e modelli per l'IA locale

Tutti Organizzazioni Hardware Software Modelli Inferenza Framework

Ordina per:Nome (A-Z)Nome (Z-A)Categoria Più recenti Più vecchie Prezzo (crescente)Prezzo (decrescente)VRAM (da più alta)Parametri (da più alti)

2 risorse trovate per "High-throughput"

Inferenza⚡

SGLang

Pubblicato il 18 gen 2024v0.1.5

Motore di serving open source per LLM con RadixAttention, continuous batching e decoding speculativo di prima classe (MTP, EAGLE, draft model, ngram). Licenza Apache-2.0.

LLMServingGPUHigh-throughput

Scopri di più

ConfrontaSito

Inferenza🚀

vLLM

Pubblicato il 13 giu 2023v0.30.0

High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.

LLMServingGPUHigh-throughput

Scopri di più

ConfrontaSito