Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale

Hai una pila di fatture, contratti e report in PDF, e ogni volta che li passi a un servizio online stai decidendo di inviarli in un server che non controlli. C'è un'altra strada: un modello che legge i documenti direttamente sul tuo hardware, e che poi passa il testo a qualsiasi LLM locale. Da metà ottobre 2026 NVIDIA ha aggiornato tutta la famiglia Nemotron Parse — tre versioni, v1.1, v1.2 e 2.0, rivedute nella stessa settimana (model card) — e con meno di 1 miliardo di parametri riesce a fare quello che l'OCR classico fa male: capire la struttura di una pagina, non solo il testo.

Che cosa fa davvero Nemotron Parse

Nemotron Parse non è un LLM: è un modello vision-encoder-decoder specializzato nella comprensione dei documenti. Il vision encoder è un ViT-H (C-RADIO di NVIDIA) che comprime l'immagine in una sequenza corta di token, e il decoder mBART a 10 blocchi produce una stringa che contiene tutto insieme: testo formattato in markdown, formule in LaTeX, bounding box con coordinate, e una classe semantica per ogni elemento (titolo, paragrafo, tabella, nota a piè di pagina, intestazione, immagine). Il tutto nell'ordine naturale di lettura della pagina.

La differenza rispetto all'OCR classico — che restituisce una sequenza piatta di caratteri — è che qui ogni elemento sa che cosa è e dov'è. Una tabella arriva come LaTeX con multirow e multicolumn intatti, una formula arriva come LaTeX, una fattura arriva come struttura che un LLM può interrogare senza indovinare. È questo che la rende il front-end naturale di un pipeline RAG locale: il documento viene "parcheggiato" in forma strutturata, e le risposte le dà il modello di linguaggio che hai scelto, sempre in locale.

Tre versioni, una settimana: come cambiano

NVIDIA ha pubblicato v1.1 nel novembre 2025, v1.2 a febbraio 2026 e 2.0 a giugno 2026 — e ha rieditato e ripubblicato i tre model card proprio il 20 ottobre. Tutte e tre hanno meno di 1 miliardo di parametri.

	v1.1	v1.2	2.0
Uscita	nov 2025	feb 2026	giu 2026
Parametri	< 1B	< 1B	< 1B
Prompt	3 token	4 token (obbligatorio)	4 token
Tabelle	LaTeX	LaTeX, HTML, markdown, JSON, CSV	+ JSON gerarchico, CSV
Grafici (chart)	no	no	sì, con la classe <class_Chart>
Vocabolario	base	base	72.256 entry (+~20k, multilingua)
Licenza	NVIDIA Open Model License	Nemotron Open Model License	OpenMDW-1.1

Le due cose da sapere subito:

1. v1.2 e 2.0 richiedono il quarto token nel prompt. Da v1.2 in poi il prompt completo è </s><s><predict_bbox><predict_classes><output_markdown><predict_no_text_in_pic> — l'ultimo token dice al modello di non estrarre il testo dentro le immagini incorporate, risparmiando generazione. Il modello non valida il prompt: con i vecchi 3 token di v1.1 genera comunque, ma la qualità "degrada significativamente", come scrive NVIDIA. Se aggiorni da v1.1, questa è l'unica modifica obbligatoria al codice.

2. La 2.0 è un salto misurabile, non una rifinitura. I numeri che NVIDIA riporta sui suoi benchmark, v1.2 vs 2.0:

Benchmark	Metrica	v1.2	2.0
ParseBench	Punteggio complessivo	0.5782	0.6391
OmniDocBench Notes	Distanza di edit testo (manoscritto, meno = meglio)	0.9739	0.3395
IndicVisionBench	ANLS caratteri	0.0612	0.7203
MOSCAR (multilingua)	BoC F1	0.4410	0.9102

La voce più interessante per chi lavora con documenti misti è il manoscritto: una distanza di edit che scende da 0.97 a 0.34 significa che il testo scritto a mano, prima quasi illeggibile per il modello, ora si legge. E l'espansione del vocabolario porta l'OCR multilingua su CJK e scritture indiche; per l'italiano e il francese — scritture latine — la capacità c'era già, ma la 2.0 migliora la gestione delle tabelle dense e dei grafici.

Setup minimo: dal PDF al testo strutturato

La strada di riferimento è vLLM: la 2.0 è supportata dalle versioni v0.20 a v0.26 (NVIDIA ha validato v0.20.0), e serve un'API compatibile OpenAI che puoi interrogare da qualsiasi script.

vllm serve nvidia/NVIDIA-Nemotron-Parse-2.0 \
  --dtype bfloat16 \
  --max-num-seqs 8 \
  --limit-mm-per-prompt '{"image": 1}' \
  --trust-remote-code \
  --port 8000

E poi, da Python, ogni pagina del PDF diventa una richiesta:

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
with open("pagina.png", "rb") as f:
    img_b64 = base64.b64encode(f.read()).decode("utf-8")
prompt = "</s><s><predict_bbox><predict_classes><output_markdown><predict_no_text_in_pic>"
resp = client.chat.completions.create(
    model="nvidia/NVIDIA-Nemotron-Parse-2.0",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": prompt},
        {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{img_b64}"}},
    ]}],
    max_tokens=9000, temperature=0.0,
    extra_body={"repetition_penalty": 1.1, "top_k": 1, "skip_special_tokens": False},
)

Se non va: se il server parte ma restituisce testo disordinato, controlla il prompt (il token mancante è la causa nº 1 passando da v1.1); se vLLM si blocca al caricamento su build recenti, la 2.0 include un patch per i pesi legati dell'output head — il model card spiega come aggiungerlo a PYTHONPATH. I PDF vanno prima renderizzati in immagini (una pagina per richiesta, --limit-mm-per-prompt è fissato a 1): con pdftoppm -r 200 fattura.pdf pagina hai già pagine PNG a 200 dpi, e la risoluzione massima supportata è 1664x2048.

E i limiti?

Sii chiaro su ciò che questo modello non è:

• Solo GPU NVIDIA, Linux. Le architetture supportate sono Turing, Ampere, Hopper e Blackwell. Nessun percorso ufficiale per CPU, Apple Silicon o AMD — la famiglia non è nel mondo Ollama/llama.cpp, e chi ha un Mac resta fuori da questo modello in particolare.
• Nessun numero VRAM ufficiale. I tre model card non dichiarano la memoria richiesta. Meno di 1 miliardo di parametri in bfloat16 sono un po' più di 2 GB di pesi, ma il motore di inferenza e il contesto di generazione richiedono spazio in più: per una stima concreta del tuo hardware guarda la guida ai requisiti VRAM.
• L'OCR multilingua forte è il nuovo. La 2.0 eccelle su CJK e indiche (ANLS da 0.06 a 0.72), ma su quei set di scrittura è appena partita; per documenti in lingue con caratteri latini l'affidabilità è alta, per esotiche è da verificare sui tuoi campioni.
• I benchmark sono di NVIDIA. I numeri sopra sono dichiarati dal vendor, non misurati da terzi: prima di costruire il workflow su di essi, prova il modello sulle tue fatture, non su esempi.

Il confine onesto: Nemotron Parse è lo scanner intelligente, non il cervello. Legge e struttura; non risponde, non ragiona, non prende decisioni. La risposta la dà il tuo LLM locale, sul testo che il modello ha estratto.

Dove porta

Se vuoi capire come il testo strutturato alimenta un'interrogazione in linguaggio naturale, il passo successivo è il RAG locale: fai domande ai tuoi documenti. E se stai valutando l'hardware, la guida GPU o CPU: quando la CPU basta ti dice quando questa famiglia di modelli richiede davvero la scheda dedicata.

Fonti

• NVIDIA Nemotron Parse 2.0 — model card
• NVIDIA Nemotron Parse v1.2 — model card
• NVIDIA Nemotron Parse v1.1 — model card
• NVIDIA Nemotron Parse 1.1 — arXiv 2511.20478

Articolo generato con IA