Outils, frameworks et modèles pour l'IA locale
5 ressources trouvées pour "Hardware"
Les plateformes cloud pour les modèles : des alternatives quand le matériel local ne suffit pas. Replicate et Runpod du catalogue sont les ressources filles.
Moteur d'inférence open source (Rust, YC S25) qui compile et optimise ses noyaux directement sur le matériel cible : Apple Silicon, NVIDIA, AMD ou CPU. Sur les modèles ouverts, il revendique des vitesses jusqu'à 2× par rapport à llama.cpp. Pensa aussi au serving d'agents.
Plateforme serverless pour exécuter du code et des modèles d'IA sur GPU : on paie les secondes d'utilisation réelles, la plateforme remonte à zéro à l'arrêt et on peut y faire tourner n'importe quel modèle open-weights. L'une des voies vers une inférence sur matériel loué sans gérer de serveur.
Marché de GPU en location : les propriétaires de GPU mettent leur capacité en vente et se louent à l'heure ou par période, à des prix qui suivent la demande. Une voie intermédiaire entre le cloud frontière et le matériel propre.
Serving haute cadence de LLM avec PagedAttention et des optimisations matérielles.
