Vai al contenuto principale
← Torna alle notizie

Ollama 0.35.0: modelli di decisione in stile Jev con l'endpoint /v1/systemone

Modelli decisionali
Fonte:Ollama Blog
Con Ollama 0.35 si usano i modelli di decisione basati sull'API Jev di TypeSafe: si invia un testo come stato con un insieme di domande nominate e il modello locale risponde a tutte in un'unica richiesta, con probabilità per ogni opzione e senza generazione di testo libero. Pensato per triage di ticket, routing di modelli e moderazione del contenuto.
Leggi l'articolo originale

Articoli correlati

Come Eseguire Modelli LLM Localmente: dal Primo Install al Primo Modello

Da zero al primo modello che risponde: cosa ti serve davvero, Ollama passo per passo, come scegliere il modello per la tua memoria, la velocità attesa per hardware e i problemi tipici con le soluzioni.

Modelli di decisione in locale: JEV-35B e il System 1 da 3B attivi

Non serve un LLM grande per decidere. JEV-35B (35B, 3B attivi) in NVFP4 su una GPU da 32 GB e ej (11,4 MB) su CPU mostrano come fare routing, classificazione e controllo qualità senza generare un solo token.

Costi: locale vs API, fatto coi numeri

Quanto costa davvero il locale rispetto a una API cloud? Prezzi per token verificati, ammortamento GPU, elettricità e il punto di pareggio, calcolato con i numeri.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

Bespoke Nimble 9B

Modelli

Il modello decisionale da 9B di Bespoke Labs: gira interamente in locale via Ollama 0.35 e risponde a domande tipizzate (vero/falso, scala numerica, scelta multipla) con la nuova API systemone. Pensato per la classificazione rapida in pipeline automatizzate, senza cloud.

🛡️

Qwen3Guard-Stream-0.6B

Modelli

Modello di moderazione della sicurezza da 0,6B con classificatore a livello di token per la sorveglianza in tempo reale durante la generazione incrementale. Tre livelli di gravità (sicuro, controverso, non sicuro) e 119 lingue: piccolo e locale, ideale per filtrare gli output senza cloud.

🔶

OpenAI API

Inferenza

API di inferenza per i modelli frontier di OpenAI (serie GPT). Si paga al token: prezzo fisso per milione di token in ingresso e in uscita, senza GPU da gestire e con rate limits per tier di account.

🟠

Anthropic Claude

Inferenza

API di inferenza per i modelli Claude di Anthropic (Claude 1 dal 2023). Come OpenAI si paga al token, in ingresso e in uscita, con limiti di richiesta per piano: la via frontier senza server propri.

Sfoglia tutte le risorse