Strumenti, framework e modelli per l'IA locale
7 risorse trovate per "Open-weights"
Modello di decisione System 1 da 11,4 MB (un file), costruito su un encoder testuale e5-small-v2. Picco di memoria residua di 128 MB, gira su CPU. Dato uno stato e domande tipizzate, restituisce una probabilità calibrata per opzione in un solo passaggio, senza generare token. Inglese-only.
Modello decisionale open da 35B parametri (3B attivi) di Autotrust, fine-tune di Qwen3.5-35B-A3B per classificazione di testo e scoring del rischio. In quantizzazione NVFP4 occupa circa 25,6 GB di VRAM: gira su una GPU da 32 GB senza bisogno di inferenza frontier.
Modello di immagini da 5,6B open weights per testo-in-immagine, editing con riferimento e composizione multi-riferimento in un solo modello, con box di posizionamento nel prompt. Test encoder Qwen3-VL-4B. In BF16 (11,1 GB), FP8 e NVFP4 (5,3 GB). Licenza FLUX Kommunity (uso non commerciale + eccezione per utenti qualificati).
Guida online che incrocia modelli open-weights e hardware reale: per ogni GPU, Mac e mini-PC mostra cosa gira, quanto spazio serve e a quanti token al secondo, con guide su quantizzazione e memoria. Lo strumento giusto per la via dell'hardware proprio.
Piattaforma serverless per eseguire codice e modelli IA su GPU: si paga per i secondi di utilizzo reali, si scala a zero inattiva e si può far girare qualsiasi modello open-weights. Una delle strade per avere inferenza su hardware noleggiato senza gestire server.
Modello fondazione da 500 milioni di parametri di NVIDIA per dati tabellari: predizione, imputazione e generazione su dataset strutturati, con supporto OpenMDW 1.1 e checkpoint pronti all'uso. Esempio di IA locale su dati di business, non generativa di testo.
Modello MoE da 35B parametri con ~3B attivi per token della famiglia Qwen, Apache-2.0. È la base di fine-tune di JEV-35B. Adatto a GPU da 40+ GB in BF16 o a quantizzazioni 4/8-bit per hardware più piccolo.
