Vai al contenuto principale
← Torna alle notizie

llama.cpp introduce i decision model con l'endpoint /v1/systemone

Modelli decisionali
Il server di llama.cpp supporta ora i Modello di decisione: invii uno stato (testo, JSON o screenshot) e domande tipizzate, e il modello restituisce una probabilità per ogni opzione in un unico passaggio, senza generare testo. Tre tipi di domanda: choice, score e noul. Sei modelli disponibili da 144M (Julia-1) a 27B (OpenJev, Clef): 3-43 ms per domanda su RTX PRO 6000, licenze Apache 2.0 tranne OpenJev (CC BY-NC).

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.