Strumenti, framework e modelli per l'IA locale
4 risorse trovate per "MLX"
La workstation Apple di fascia alta: M5 Max con 18 core CPU, GPU fino a 40 core con Neural Accelerator e fino a 128GB di memoria unificata a 614 GB/s. Modelli fino a ~120B in 4 bit (e i MoE a bassa attivazione come gpt-oss-120b in tempo quasi reale), con MLX e llama.cpp. 10GbE di serie, Thunderbolt 5, fino a 8 display.
Framework di machine learning di Apple per Apple Silicon: array con calcolo lazy su CPU e GPU unificate, memoria unificata a favore. La libreria mlx-lm porta addestramento, fine-tuning (LoRA/QLoRA) e inferenza di LLM direttamente su Mac.
Strumento Python a dipendenza zero che riconosce e riassume ogni file con un LLM locale (Ollama, LM Studio o MLX-LM), completamente offline. Rileva il tipo per contenuto, estrae la struttura (CSV, email, script, log) e segnala i file che contengono istruzioni all'assistente. Funziona anche senza modello (--no-llm). Licenza MIT.
Runtime Swift/MLX per il riconoscimento vocale in streaming di Kyutai su Apple Silicon. Il checkpoint di riferimento è STT-1B (inglese e francese) in INT8/FP16, con encoder Mimi causale (32 codici audio ogni 80 ms). Supporta export INT4/INT8. Licenza dei pesi CC-BY-4.0.
