Strumenti, framework e modelli per l'IA locale
5 risorse trovate per "Hardware"
Le piattaforme cloud per i modelli: alternative quando l'hardware locale non basta. Replicate e Runpod nel catalogo sono le risorse figlie.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Piattaforma serverless per eseguire codice e modelli IA su GPU: si paga per i secondi di utilizzo reali, si scala a zero inattiva e si può far girare qualsiasi modello open-weights. Una delle strade per avere inferenza su hardware noleggiato senza gestire server.
Marketplace di GPU in affitto: i possessori di GPU mettono in vendita la loro capacità e si affittano per ore o per periodo, a prezzi che seguono la domanda. Una via intermedia tra cloud frontier e hardware proprio.
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.
