Inférence🔗
Replicate
Publié le 1 juin 2022
Plateforme API pour exécuter des modèles ML sans gérer d'infrastructure.
APICloudMLServerless
Publié le 1 mars 2023
Plateforme serverless pour déployer et mettre à l'échelle automatiquement des modèles IA avec GPU.
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser RunPod Serverless.
Plateforme API pour exécuter des modèles ML sans gérer d'infrastructure.
API d'inférence pour les modèles Claude d'Anthropic (Claude 1 depuis 2023). Comme OpenAI, la facturation se fait au token, en entrée et en sortie, avec des limites de requêtes par forfait : la voie frontière sans serveur propre.
Réimplémentation de Whisper basée sur CTranslate2 : jusqu'à 4 fois plus rapide qu'openai/whisper avec la même précision et moins de mémoire. Prise en charge de la quantification 8-bit sur CPU et GPU.