Google publie ML Drift, moteur d'inférence GPU on-device open source
On-device et edgeArticles connexes
À combien revient un token : cinq chemins, les comptes et le point d'équilibre
API frontier, abonnement, fournisseurs d'inférence, GPU en location ou matériel à vous : cinq chemins pour générer des tokens, avec les coûts réels par mois, le compte de l'électricité et le point d'équilibre calculé.
GPU ou CPU : quand la CPU suffit
Faut-il vraiment une GPU pour l'IA locale ? Pour beaucoup d'usages, non : le prefill et le decode, ce qui compte (la bande passante mémoire), les chiffres réels sur un portable courant, les cas où la CPU suffit et ceux où la VRAM est nécessaire — avec les commandes pour mesurer sur votre matériel.
vLLM : servir des modèles rapides
vLLM est le moteur open source qui transforme un modèle local en serveur concurrent : PagedAttention, batching continu, installation et les concepts (débit, quantification, KV cache) pour choisir quand l'utiliser à la place d'Ollama.
Recevez le prochain point IA locale
Chaque semaine, une sélection du meilleur d'iaLocale : articles, actualités et ressources sur l'IA locale, et plus encore.
Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.