Aller au contenu principal
← Retour aux actualités

llama.cpp introduit les decision models avec l'endpoint /v1/systemone

Modèles décisionnels
Le serveur llama.cpp prend en charge les decision models : vous envoyez un état (texte, JSON ou capture d'écran) et des questions typées, et le modèle renvoie une probabilité pour chaque option en un seul passage, sans générer de texte. Trois types de questions : choice, score et noul. Six modèles disponibles de 144M (Julia-1) à 27B (OpenJev, Clef) : 3 à 43 ms par question sur RTX PRO 6000, licence Apache 2.0 sauf OpenJev (CC BY-NC).

Recevez le prochain point IA locale

Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.