Inferenza⚡
llama.cpp
Pubblicato il 15 ott 2022
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
LLMC++LocalEfficient
Risorse
Strumenti, framework e modelli per l'IA locale
6 risorse trovate per "LLM"
Strumenti, framework e modelli per l'IA locale
6 risorse trovate per "LLM"
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Strumento open source per eseguire LLM localmente con semplicità.
Gateway cloud per l'inferenza LLM: un unico endpoint API per centinaia di modelli (inclusi i MoE open-weight) con prezzi per token e routing automatico tra provider. Per Ling 3.1 Flash: 0,075 $/M input, 0,225 $/M output.
Motore di serving open source per LLM con RadixAttention, continuous batching e decoding speculativo di prima classe (MTP, EAGLE, draft model, ngram). Licenza Apache-2.0.
High-throughput serving di LLM con PagedAttention e ottimizzazioni hardware.