Créez une synthèse vocale ESP32 à l’aide de Wit.ai

• Des voix au son naturel optimisées par des algorithmes d’IA avancés
• Le dispositif ESP32 utilise de très petites ressources mémoire pour ses opérations.
• Le système fonctionne sans avoir recours à des bibliothèques de traitement audio complexes, qui s’exécutent sur des machines locales.
• Le système fournit une solution évolutive qui prend en charge les cas d’utilisation commerciale.
• Le système reçoit des mises à jour et des améliorations automatiques, qui sont gérées depuis le serveur.

L’implémentation ESP32 de la synthèse vocale (TTS) moderne comporte de nombreux niveaux différents de traitement complexe au cours du pipeline de traitement TTS, notamment :

∗ Normalisation du texte – Conversion de la représentation numérique en mots, expansion des abréviations et représentation des symboles sous forme de caractères lisibles par l’homme.

∗ Analyse linguistique – Décomposer le texte en plusieurs phonèmes (sons de la parole) et déterminer comment chaque phonème doit être prononcé selon les règles de la linguistique.

∗ Génération de prosodie – Déterminer où utiliser les pauses naturelles, comment souligner des mots spécifiques présentant des variations de hauteur et de rythme lorsque l’on parle.

∗ Synthèse audio – Transformer les données vocales traitées sous une forme pouvant être stockée dans un format audio numérique.

∗ Lecture audio – Diffusion de l’audio numérique généré via les haut-parleurs de l’ESP32.

Guide expert de l’équipe d’ingénierie de CircuitDigest – a développé une bibliothèque open source ESP32 TTS qui simplifie l’intégration de Wit.ai. Cette bibliothèque est distribuée via le gestionnaire de bibliothèque officiel Arduino pour une installation et des mises à jour faciles.

Explication du code source de synthèse vocale ESP32

Ce programme convertit le texte saisi en audio parlé en utilisant un service de synthèse vocale en ligne et en lisant le son via une sortie audio sur le tableau. Le système dépend du WiFi et d’un jeton cloud valide. Lorsque le texte est envoyé, la carte demande la parole au serveur, reçoit l’audio numérique et la lit via l’interface I2S. Le design reste simple et bloquant, ce qui convient aux démos et aux projets de créateurs.

WitAITTS tts;

Cette ligne crée le moteur principal de synthèse vocale. L’objet gère l’ensemble du flux de travail, y compris la gestion du WiFi, la communication sécurisée avec le serveur Wit.ai, le décodage audio et la sortie sonore vers le haut-parleur. Toutes les fonctionnalités liées à la parole dépendent de cet objet.

tts.begin(WIFI_SSID, WIFI_PASSWORD, WIT_TOKEN);

Cette ligne connecte la carte au réseau WiFi et s’authentifie auprès du service Wit.ai à l’aide du jeton d’accès. Le programme vérifie l’accès au réseau et la disponibilité du service à ce stade. Si cette étape échoue, le système ne peut demander ni lire aucune parole.

tts.setVoice("wit$Remi");

Cette ligne sélectionne la voix utilisée pour la sortie vocale. La voix choisie définit le ton, le genre et le caractère du son. La modification de cette valeur modifie directement la façon dont l’appareil sonne pour l’utilisateur.

tts.setSpeed(100);
tts.setPitch(100);

Ces lignes contrôlent la vitesse et la hauteur de la voix. Les valeurs normales gardent le discours clair et naturel. Le réglage de ces paramètres permet d’optimiser la clarté, le confort et l’expérience d’écoute.

tts.speak(text);

Cette ligne envoie le texte au service cloud pour conversion en audio. La carte attend pendant que le serveur génère la parole et renvoie l’audio. Le système lit l’audio immédiatement et met en pause tout autre travail jusqu’à la fin de la lecture.

• Utilisation réduite de la mémoire
• Réponse perçue plus rapide
• Pas besoin de mise en mémoire tampon complète des fichiers

La qualité de la lecture dépend fortement de :

• Latence du réseau
• Stabilité de puissance
• Qualité des haut-parleurs

Facteurs affectant la qualité de lecture

⇥ Est-il possible pour l’ESP32 de convertir du texte en signal audio lorsqu’il n’est pas connecté à Internet ?
Oui, il est techniquement possible pour l’ESP32 d’exécuter des fonctions de synthèse vocale (TTS) hors ligne ; cependant, les résultats auront généralement une consonance très robotique et auront un vocabulaire limité. Des bibliothèques telles que Talkie et eSpeak sont utilisées pour effectuer des TTS hors ligne basés sur ESP32. De plus, les services basés sur le cloud tels que Wit.ai fournissent une voix naturelle de bien meilleure qualité sur Internet lors de l’utilisation de l’ESP32 pour la fonctionnalité de synthèse vocale.

⇥ Quel type de qualité audio peut-on attendre de l’ESP32 ?
En utilisant les offres de services AI TTS (par exemple Wit.ai), vous pouvez vous attendre à des échantillons vocaux de haute qualité et au son naturel, comparables à bien des égards à ceux produits par les assistants vocaux commerciaux. En raison des problèmes de connectivité WiFi, de la qualité de l’alimentation électrique et des spécifications des haut-parleurs, la qualité de l’audio produit dépendra de ces facteurs. Pour maintenir un signal audio numérique propre vers l’amplificateur (par exemple MAX98357A), utilisez le protocole I2S.

⇥ Puis-je utiliser plusieurs voix ou langues avec ESP32 TTS ?
Lors de la création d’une application avec Wit.ai, vous aurez la possibilité de configurer plusieurs langues. La langue sélectionnée déterminera la façon dont la voix sonne et la façon dont la prononciation est faite, et vous ne pouvez pas basculer entre les différentes voix pendant que le logiciel est en cours d’exécution. Cependant, le même logiciel peut se connecter à des applications Wit.ai supplémentaires prenant en charge des langues supplémentaires et vous permettrait donc d’utiliser la bibliothèque ESP32 TTS pour des implémentations TTS supplémentaires utilisant l’API Wit.ai.

⇥ Les WiTaitt sont-ils compatibles avec ESP32 S2 et C3 ?
Oui, il prendra en charge la bibliothèque utilisée pour les applications de synthèse vocale ESP32 et prend en charge toutes les cartes de la série ESP32 (ESP32, ESP32-S2, ESP32-S3, ESP32-C3). Tous les membres de la famille ESP32 utilisent les mêmes protocoles de brochage et audio I2S, mais l’affectation des broches sur chaque carte peut différer. Assurez-vous de vérifier la fiche technique de votre carte pour connaître la capacité GPIO.

⇥ Quelle configuration Internet est nécessaire pour utiliser un service ESP32 TTS (texte-parole) ?
Le service ESP32 TTS nécessite une connexion Internet stable avec une bande passante minimale de 1 Mbps. Le signal Wi-Fi doit avoir une intensité de -60 dBm ou plus afin de diffuser l’audio avec précision et cohérence. Les réseaux Wi-Fi doivent utiliser le cryptage WPA2/WPA3 pour un accès sûr et sécurisé. L’ESP32 ne prend en charge que les connexions sur la bande de fréquence 2,4 GHz, tandis que les connexions établies sur la bande de fréquence 5 GHz ne peuvent être établies qu’avec l’ESP32-S2 ou un modèle ESP32 plus récent.

⇥ Combien de temps faut-il pour traiter une entrée ESP32 TTS ?
En fonction de la quantité de texte que vous saisissez dans l’ESP32, de la vitesse de votre connexion Wi-Fi et de l’occupation du serveur, cela peut prendre de 1 à 3 secondes avant que la sortie audio ne soit produite après la saisie du texte. Pendant que le texte saisi est en cours de traitement, l’ESP32 diffusera l’audio sur votre appareil au fur et à mesure qu’il télécharge l’audio, ce qui contribue à réduire le temps qu’il vous faut pour percevoir le retard. La latence du réseau représente la majeure partie du retard, et non le temps qu’il faut réellement à l’ESP32 pour traiter l’entrée.

Projets connexes

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :