SynthAPI: ambienti sintetici e scaling laws per allenare agenti tool-use

Un agente tool-use impara a usare i tool in due modi: lo glielo insegna il training, o lo impara al volo nel contesto. Il primo modo, però, richiede un ambiente dove esercitarsi: tool che rispondono, errori che tornano, task che si ripetono. L'ambiente più comodo per esercitarsi è il tuo server locale, ma i tool reali — le API vere con cui l'agente deve fare i conti in produzione — costano, mutano e a volte non vanno toccati.
Il paper SynthAPI, pubblicato su arXiv, parte da qui: costruire ambienti sintetici controllati in cui allenare agenti che usano i tool, senza toccare le API reali.
Il problema: allenare un agente serve ripetizione
Un modello che deve fare tool calling non impara guardando esempi: impara provando. Ogni task — "prenota un volo", "esporta il report in CSV" — produce una sequenza di chiamate, risposte, errori, correzioni. Per raggiungere un livello affidabile su un set di task serve ripetere quel ciclo migliaia di volte, con varianti: input leggermente diversi, tool che falliscono in modi diversi, risposte più lunghe o più corte.
In un ambiente reale questa ripetizione ha un prezzo triplo:
- Costo: ogni chiamata di un agente passa token di contesto (prompt, tool result, ragionamento) al modello; con un modello frontier via API ogni task ripetuto è denaro che va in un provider esterno.
- Fragilità: le API reali mutano, applicano rate limit, cambiano schema. Un task di training che si basava sul comportamento di ieri oggi fallisce per un cambio di campo, non per colpa dell'agente.
- Rumore: i fallimenti reali sono imprevedibili. Se stai misurando quanto l'agente migliora, un errore 500 inatteso del backend ti sporca la metrica.
L'idea: un ambiente sintetico con fallimenti regolati a piacere
SynthAPI propone di sostituire i tool veri con delle simulazioni: API sintetiche che hanno lo stesso schema delle vere (stessi endpoint, stessi campi), ma il cui comportamento è sotto il tuo controllo. Il punto chiave è la controllabilità del fallimento: puoi far fallire il tool simulato con una probabilità che decidi tu, in modi che decidi tu.
Perché serve a fare training. Un agente che non ha mai visto un errore non impara a gestirlo: al primo 429 in produzione si blocca. In un ambiente sintetico puoi iniettare esattamente il mix di fallimenti che vuoi — timeout, campi mancanti, rate limit — e misurare se la politica dell'agente migliora o peggiora al variare di quel mix. È l'equivalente del simulatore di volo per i piloti: non è il cielo, ma è il luogo in cui si addestra il comportamento che in cielo non si può provare.
Le scaling laws del paper: quante task servono, e quanto cambiano
SynthAPI non si ferma a "facciamo un ambiente sintetico". Studia come compongono i dati sintetici e come il numero di task necessari scala con l'obiettivo. Il risultato centrale, espresso nel paper come una relazione logaritmica: il numero di task sintetici necessari per raggiungere un certo tasso di successo cresce logaritmamente rispetto a quel tasso.
In pratica, tradotto in numeri di esempio (le costanti esatte dipendono dal dataset e dal modello, il rapporto è quello del paper):
- per arrivare a un 90% di successo su un set di 200 task servono all'ordine di 3.500 task sintetici;
- per arrivare al 95% servono all'ordine di 7.100 task sintetici.
Lettura: dai 90 ai 95 punti percentuali il costo in dati raddoppia. Questo è il tipo di fatto che cambia un piano di progetto: se il tuo caso d'uso non ha bisogno del 95%, non pagare il raddoppio. Il paper mostra anche che la qualità dei dati sintetici — varietà dei task, distribuzione dei fallimenti — pesa più della quantità pura: a parità di task, un ambiente che copre bene la distribuzione dei fallimenti batte uno che ripete lo stesso schema.
Il conto: sintetico locale vs frontier API
Il punto dell'articolo, però, è il dove. L'ambiente sintetico gira meglio — e costa di meno — se il modello che genera task e fa le ripetizioni è tuo. Facciamo un conto su 10.000 task sintetici, ognuno con all'ordine di 5.000 token di contesto (prompt + tool call + risposte), su un batch di generazione che richiede circa 150 ore-GPU di lavoro spalmate:
| Via | Ipotesi di costo | 10.000 task | Costo per task |
|---|---|---|---|
| GPU 24 GB tua (RTX 4090, ~0,25 kWh/10.000 task, €0,25/kWh) | energia: 6,25 kWh → ~€1,6 | ~€1,6 (ammortamento hardware escluso) | ~€0,0002 |
| Serverless GPU (€1,50/ora) | 150 h → €225 | €225 | €0,0225 |
| API frontier (input $3 / 1M token, ~20% output) | 50M input + 10M output ≈ $170 | ~€158 | ~€0,016 |
Il dato che conta: un ambiente di addestramento che su API frontier costa ~€158 per 10.000 task costa ~€1,6 in energia su hardware che hai già — e i dati non lasciano la tua macchina. Non è un argomento da 10.000 euro, ma è il tipo di moltiplicatore che rende ragionevole fare più iterazioni: e nel paper la qualità scala con la quantità di task, non con l'eleganza del setup. I prezzi API e l'energia sono le ipotesi di un batch tipico; rimisurali per il tuo caso.
E i limiti?
Onestà, perché il sintetico ha un confine che il paper stesso delimita:
- Distribuzione spostata: l'ambiente sintetico imita lo schema dei tool, non le stranezze vere — risposte inaspettate, errori di messaggistica, latenza che varia. Un agente troppo addestrato sul sintetico può performare bene in simulazione e peggio in produzione. Il paper lo gestisce calibrando il tasso di fallimento; tu lo gestisci validando l'agente su una batteria di chiamate reali tenute da parte, prima di fidarti.
- Tetto del modello: i task sintetici migliorano la politica di un modello, non creano capacità che non ci sono. Un modello che non sa fare tool calling alla base non impara per magia con i task sintetici.
- Validazione: il tasso di successo misurato in ambiente sintetico è una proxy. La metrica che conta è sempre quella sull'ambiente di destinazione, anche se piccola.
Come lo usi, in pratica
Se stai costruendo un agente locale che deve imparare i tuoi tool, il pattern che il paper suggerisce si riduce a quattro passi:
- Scrivi lo schema dei tuoi tool (nome, parametri, tipi di risposta, modi di fallire) — è il contratto che l'ambiente sintetico deve rispettare.
- Genera i task sintetici in locale: un modello sul tuo hardware produce input, tool result, scenari di errore. Qui serve contesto ampio e ripetizione, ed è proprio il caso in cui la KV cache ti fa sentire la RAM che hai, non quella che ti saresti aspettato.
- Regola il mix di fallimenti e misura il tasso di successo su un subset di validazione che non entra nel training.
- Valida in produzione con una batteria di chiamate reali: se il salto dal sintetico al reale è piccolo, il setup ha funzionato.
Se il tuo stack di agenti gira già su Ollama, il confronto tra i motori ti dice dove sta il collo di bottiglia — perché in un pipeline di generazione di task sintetici il collo di bottiglia è quasi sempre l'inferenza, non i dati.
Fonti
In sintesi
SynthAPI mostra che un agente tool-use si può allenare in un ambiente sintetico controllato, con la stessa struttura dei tool reali ma fallimenti regolati a piacere. Il numero di task sintetici cresce logaritmamente rispetto al tasso di successo che vuoi: dai 90 ai 95 punti percentuali il costo in dati raddoppia, e non tutti i casi d'uso pagano quel salto. Girare il batch di generazione su hardware proprio — i conti sopra mostrano ~€1,6 di energia contro ~€158 di API per 10.000 task — moltiplica il numero di iterazioni possibili a parità di budget, e tiene i dati di training dentro casa. Il limite è la fedeltà alla distribuzione reale: la validazione su chiamate vere resta l'ultimo arbitro.
Articolo generato con IA
In questi percorsi
Ti è piaciuto questo articolo?
Iscriviti alla newsletter per ricevere nuovi tutorial e guide.
Articoli Correlati

Turnbook: la memoria locale per gli agenti di coding, senza una chiamata al modello
Ogni conversazione salvata parola per parola in un file SQLite, senza una sola chiamata al modello: la ricerca gira con embedding locali e il recupero costa 3,1k token. 91,8% su LongMemEval, zero token per salvare.

Ollama voice: la sintesi vocale locale, dalla riga di comando all'API OpenAI
Phonon porta la sintesi vocale nel server Ollama: un comando per parlare, endpoint OpenAI-compatibile e lettura in streaming della risposta, 35% più veloce del runtime di riferimento su M5 Max.

