Glossario IA Locale

Termini e definizioni dell'intelligenza artificiale locale, modelli open source e computing.

Ordina termini per:Nome (A-Z)Nome (Z-A)Categoria

Tutte le categorie Addestramento Architetture Casi d'uso Concetti Formati Hardware Modelli Modelli generativi Ottimizzazione Prestazioni Serving Sicurezza Strumenti Tecniche Tecnologie tecnologie

2 termini in Serving

Parallelismo di espertiServing

Tecnica specifica dei MoE: invece di dividere ogni layer, gli esperti (le sotto-reti condizionali) vengono distribuiti su GPU diverse. Un token invoca solo gli esperti attivi, quindi la VRAM si usa in modo più efficiente rispetto al parallelismo di tensori.

Parallelismo di tensoriServing

Tecnica di serving che divide ogni matrice (tensore) di un modello tra più GPU, così ogni card calcola una parte dello stesso layer e i risultati si ricombinano. Serve quando un singolo layer non sta in una sola GPU, ad esempio per i MoE grandi.