Publié le 11 déc. 2023
Huit experts de 7B dont deux actifs par token : 47B de paramètres au total et un raisonnement de grand modèle à une fraction du coût de calcul. Un classique du monde open.
Flagship densa da 123B con contesto da 128K, rilasciata in open-weight un giorno dopo i modelli Llama 3.1.
Primo modello MoE della compagnia, con 46,7B parametri totali e 12,9B attivi per token; i pesi erano apparsi in anteprima il 8 dicembre 2023.
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Mixtral 8x7B (MoE).
Modèle de 7B rapide et efficace, bien calibré pour les tâches multilingues européennes. Excellente qualité d'instruction à une fraction du coût des modèles 13B et plus.
Il primo 'modello unificato' di Mistral: dense da 128B che unisce instruction-following, reasoning e coding in un'unica serie di pesi, sostituendo Medium 3.1, Magistral e Devstral 2. Multimodale (testo+immagini), contesto 256K, ragionamento configurabile. Open weights con licenza Modified MIT: uso libero fino a una soglia di fatturato per le grandi aziende.
Il modello della linea Small di Mistral, ora MoE: 119B di parametri totali con 6,5B attivi per token (128 esperti, 4 attivi). Unifica instruct, reasoning e coding in un unico modello multimodale (testo+immagini) con contesto 256K. Licenza Apache 2.0.
