Inferenza☁️
RunPod Serverless
Pubblicato il 1 mar 2023
Piattaforma serverless per deploy e scalatura automatica di modelli IA con GPU.
ServerlessCloudGPUDeployment
Pubblicato il 1 giu 2022
Piattaforma API per eseguire modelli ML senza gestire infrastruttura.
Visita il sito ufficiale per scaricare, documentarti e iniziare a utilizzare Replicate.
Piattaforma serverless per deploy e scalatura automatica di modelli IA con GPU.
API di inferenza per i modelli Claude di Anthropic (Claude 1 dal 2023). Come OpenAI si paga al token, in ingresso e in uscita, con limiti di richiesta per piano: la via frontier senza server propri.
Reimplementazione di Whisper basata su CTranslate2: fino a 4 volte più veloce di openai/whisper con la stessa accuratezza e meno memoria. Supporta la quantizzazione 8-bit su CPU e GPU.