Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Inférence🧭
OpenRouter
Publié le 8 mars 2023
Gateway cloud pour l'inférence LLM : un seul endpoint API pour des centaines de modèles (dont les MoE open-weight), avec prix par token et routage automatique entre providers. Pour Ling 3.1 Flash : 0,075 $/M d'entrée, 0,225 $/M de sortie.
Caractéristiques
- Un endpoint API
- Routing multi-provider
- Pricing par token
- Modèles open-weight
Tags
Liens utiles
Découvrir OpenRouter
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser OpenRouter.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale