La voix locale : de Whisper au text-to-speech

Pourquoi la voix est l'étape suivante

L'IA locale a déjà prouvé son efficacité pour le texte : chat, résumés, traductions. Mais la voix est le canal dans lequel nous vivons vraiment — réunions, dictée, assistance, accessibilité. Passer la voix en local, c'est contrôler l'ensemble du cycle : du micro à la réponse, sans qu'un seul octet ne sorte de votre matériel.

Ce guide montre comment construire un pipeline de voix entièrement local : speech-to-text avec Whisper, text-to-speech avec Piper ou Kokoro-82M, et les éléments qui les relient.

De l'audio au texte : Whisper et ses implémentations

Whisper d'OpenAI est le modèle de référence pour la transcription automatique. Entraîné sur plus de 680 000 heures d'audio, il prend en charge 99 langues et propose des tailles allant du modèle tiny (39M de paramètres) au large-v3 (1.55B). Le modèle large-v3-turbo (809M) offre un bon compromis entre qualité et vitesse.

Pour l'exécuter en local avec des performances acceptables, les implémentations les plus utilisées sont :

• faster-whisper — réimplémentation basée sur CTranslate2, jusqu'à 4 fois plus rapide que openai/whisper avec la même précision et moins de mémoire. Prise en charge de la quantification 8-bit sur CPU et GPU.
• whisper.cpp — version en C/C++, idéale pour ARM (Raspberry Pi, Apple Silicon) et CPU. Fonctionne sans GPU.

Le Word Error Rate (WER) est la métrique standard pour comparer les transcriptions : un WER bas signifie peu d'erreurs par mot. Pour le français, les modèles large restent les plus précis ; pour un usage quotidien sur du matériel modeste, medium ou small avec quantification 8-bit sont déjà très utiles.

Du texte à la voix : Piper et Kokoro-82M

Deux voix locales se démarquent par leur qualité et leur facilité d'utilisation :

Piper — TTS neural-based basé sur VITS, avec des modèles pré-entraînés dans plusieurs langues (dont le français). Léger : tourne sur CPU, y compris sur Raspberry Pi 4, avec une latence en temps réel. Idéal pour des réponses rapides, des notifications vocales, des assistants vocaux.

Kokoro-82M — 82 millions de paramètres, architecture VITS, 80 langues prises en charge, licence Apache-2.0 pour les modèles. La qualité des voix est surprenante pour sa taille ; la voix française french-female est parmi les plus naturelles du catalogue. Il tourne efficacement sur CPU, ce qui en fait une excellente option pour ceux qui veulent une voix locale sans GPU dédié.

Construire le pipeline

Un pipeline minimal de voix locale a trois étapes :

1. Acquisition — micro ou fichier audio (WAV, MP3, OGG).
2. Transcription (STT) — Whisper (faster-whisper ou whisper.cpp) → texte.
3. Synthèse (TTS) — Piper ou Kokoro → audio de réponse.

Entre les étapes, vous pouvez insérer un LLM local (Ollama avec Qwen, Llama, Mistral) pour générer la réponse textuelle avant la synthèse. Le résultat est un assistant vocal complet qui fonctionne sans connexion.

Exemple rapide avec faster-whisper et Piper

Transcription :

from faster_whisper import WhisperModel
model = WhisperModel("large-v3-turbo", compute_type="int8")
segments, info = model.transcribe("reunion.wav", language="fr")
texte = " ".join(s.text for s in segments)
print(texte)

Synthèse :

echo "Résumé : la réunion a traité trois points." | piper --model fr_FR-medium --output_file rep.wav

Exigences matérielles

Composant	Minimum (STT+TTS CPU)	Recommandé (STT+TTS GPU)
CPU	4 cœurs (x86_64 ou ARM)	8+ cœurs
RAM	8 Go	16 Go
GPU	non requis	NVIDIA 8+ Go VRAM (ou Apple Silicon M1/M2)
Disque	~2 Go (modèles)	~4 Go

Avec large-v3-turbo quantisé int8 sur CPU, la transcription est en temps réel sur les machines récentes. Kokoro-82M sur CPU a une latence de quelques secondes pour des phrases courtes.

Cas d'usage pratiques

• Dictée — parlez, le texte arrive dans votre application de notes ou d'e-mail.
• Réunions — transcription en temps réel plus résumé avec un LLM local.
• Accessibilité — synthèse vocale pour documents, e-mails, notifications.
• Assistant personnel — pipeline complet avec LLM : question vocale, réponse vocale, tout en local.

Des produits comme TalkScribe démontrent que le cycle complet (Whisper plus LLM local Qwen sur GPU M-series) peut vivre dans une application macOS native, sans cloud.

Où aller ensuite

Une fois que le pipeline de base fonctionne, les étapes naturelles sont :

• Ponctuation et majuscules — Whisper les gère en interne ; pour les flux en temps réel, envisagez faster-whisper avec beam size 1.
• Détection d'activité vocale (VAD) — pour découper l'audio en segments quand quelqu'un parle, sans transmettre un flux continu.
• Ajustement fin — si votre voix ou votre accent donne un WER élevé, un petit jeu de données (10-30 minutes) peut améliorer le modèle.

La voix est le point où l'IA locale cesse d'être une expérimentation pour devenir un assistant qui vit avec vous, sur votre matériel, toujours disponible.

Article généré par IA