Strumenti, framework e modelli per l'IA locale
17 risorse trovate per "Hardware"
Apple Inc. (Cupertino, USA): i chip Apple Silicon e i Mac con memoria unificata sono tra i riferimenti per l'IA locale su consumer hardware. I prodotti Apple nel catalogo sono le risorse figlie.
Famiglia di modelli open di Google nelle taglie 1B, 4B, 12B e 27B. Contesto di 128K token, oltre 140 lingue supportate e input multimediali (testo e immagini). Ottima scelta per RAG e documenti lunghi su hardware consumer.
La taglia 12B della famiglia Gemma 4 di Google: 11,95B dense, contesto 256K e multimodalità integrata senza encoder separati (testo+immagini+audio). Licenza Apache 2.0. In Q4_K_M occupa circa 7,4GB: il punto di equilibrio tra qualità e requisiti hardware per l'uso locale su 8-16GB.
Le piattaforme cloud per i modelli: alternative quando l'hardware locale non basta. Replicate e Runpod nel catalogo sono le risorse figlie.
MoE di Aleph Alpha: 78,1B parametri (3,46B attivi per token), Apache 2.0, pesi FP8, contesto fino a 1M token, reasoning mode e tool calling. Pensato per carichi mission-critical su hardware locale.
Modello piccolo e veloce con contesto fino a 131K token. Punto di ingresso ideale per chat e riepilugi su hardware modesto, ottimo per smartphone e mini-PC.
Tool open source che stima la velocità di inferenza di un modello locale su oltre 250 configurazioni hardware (GPU, Mac, CPU): stime misurate da benchmark della community o derivate da setup simili. Serve a scegliere l'hardware prima di acquistarlo.
Guida online che incrocia modelli open-weights e hardware reale: per ogni GPU, Mac e mini-PC mostra cosa gira, quanto spazio serve e a quanti token al secondo, con guide su quantizzazione e memoria. Lo strumento giusto per la via dell'hardware proprio.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Piattaforma serverless per eseguire codice e modelli IA su GPU: si paga per i secondi di utilizzo reali, si scala a zero inattiva e si può far girare qualsiasi modello open-weights. Una delle strade per avere inferenza su hardware noleggiato senza gestire server.
I runtime che fanno girare i modelli locali sul tuo hardware: Ollama per la semplicità, llama.cpp per la portabilità, vLLM per il throughput di produzione. I motori nel catalogo sono le risorse figlie.
Modello ultra-compatto di 0,5 miliardi di parametri. Si esegue su qualsiasi hardware, anche embedded: ideale per riepilugi leggeri e per dispositivi locali a bassissimo consumo.
Modello da 3 miliardi di parametri con ottimo supporto multilingue, incluso l'italiano. Buono equilibrio tra qualità e requisiti hardware per riepilugi e stesure.
Modello MoE da 35B parametri con ~3B attivi per token della famiglia Qwen, Apache-2.0. È la base di fine-tune di JEV-35B. Adatto a GPU da 40+ GB in BF16 o a quantizzazioni 4/8-bit per hardware più piccolo.
SBC con CPU ARM Cortex-A76 a 8 core e 2–16 GB di RAM: il riferimento per l'apprendimento e per l'esecuzione di piccoli modelli di IA locale in inferenza CPU.
Marketplace di GPU in affitto: i possessori di GPU mettono in vendita la loro capacità e si affittano per ore o per periodo, a prezzi che seguono la domanda. Una via intermedia tra cloud frontier e hardware proprio.
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.
