ESP Private Agents : La Nouvelle Plateforme d’Espressif pour des Assistants IA Locaux et Personnalisés

Selon cnx-software, Espressif a récemment introduit sa nouvelle plateforme nommée ESP Private Agents, conçue pour permettre aux développeurs de concevoir des assistants d’intelligence artificielle (IA) locaux, privés et adaptables, destinés à être intégrés dans des appareils ESP32. Cette solution prend en charge les tâches d’IA hybrides, combinant traitement local et cloud.

Assistant multilingue et design innovant : ESP32 à l’honneur

La plateforme ESP Private Agents propose un cadre cohérent, facilitant la création d’applications tout en intégrant rapidité, vision par ordinateur, automatisation et interactions via des agents. Un exemple marquant en est un agent vocal multilingue capable d’opérer directement sur l’appareil, semblable à un haut-parleur intelligent. De plus, les agents orientés tâches offrent une capacité d’automatisation des flux de travail.

Le fonctionnement de cette plateforme repose sur les services cloud d’AWS, s’appuyant sur AWS Fargate comme plateforme d’application principale et intégrant des systèmes LLM back-end grâce aux modèles Amazon Bedrock Foundation. Cette solution n’est pas uniquement compatible avec les appareils alimentés par ESP32 équipés de haut-parleurs et de microphones, mais aussi avec des applications mobiles et des interfaces web.

Fonctionnalité avancée : 100% local et personnalisations

Espressif a également mis à disposition une démonstration web permettant d’utiliser un chatbot textuel ou un assistant vocal qui exploite le haut-parleur et le microphone d’un ordinateur. Selon leurs dires, pour une utilisation en production, les utilisateurs peuvent déployer cette solution sur leur propre compte AWS. Lors d’un test effectué sur Firefox sur Ubuntu 24.04, l’expérience s’est avérée convivial avec le chatbot via la connexion à ESP Rainmaker.

Précisons toutefois que certains utilisateurs ont rencontré des difficultés avec la fonction audio de l’assistant. Malgré une action sur le microphone, la détection vocale ne semblait pas fonctionner correctement, bien que le matériel soit en bon état de marche. Cela pourrait être dû à des incompatibilités entre les agents privés ESP et le navigateur Firefox.

Une démonstration particulièrement captivante a été présentée, utilisant le matériel EchoEar, agissant comme un assistant vocal IA multilingue. Ce dernier est capable de parler en plusieurs langues telles que l’anglais, l’hindi, l’allemand et l’espagnol, permettant ainsi des interactions fluides entre divers locuteurs.

Le blog des développeurs d’Espressif propose également des explications détaillées sur les étapes nécessaires pour concevoir son propre agent IA ainsi que le matériel associé. Voici les grandes lignes du processus.

Pour créer un agent IA, il convient dans un premier temps de sélectionner un LLM parmi la gamme des modèles pris en charge par AWS Bedrock Foundation, chaque modèle ayant ses caractéristiques de performance, de coût et de comportement. Ensuite, il est impératif de définir une invite système qui façonne le comportement et la personnalité de l’agent, qu’il s’agisse d’un contrôleur vocal ou d’un assistant de support client. Ensuite, des outils, qui sont des actions modulables qu’un agent peut utiliser pour exécuter des tâches, doivent être définis. Ces outils peuvent être distants ou locaux : les premiers interagissent avec le Model Context Protocol (MCP), tandis que les seconds s’exécutent directement sur le client et peuvent par exemple permettre d’allumer une lumière ou d’ajuster la vitesse d’un ventilateur.

Une fois l’agent défini, des tests peuvent être effectués directement à partir d’un tableau de bord web. Après avoir atteint les résultats escomptés, le développement peut se poursuivre sur du matériel réel en utilisant l’un des trois kits de développement disponibles tels que l’EchoEar, l’ESP32-S3-Box ou le M5Stack CoreS3. Les prochaines étapes comprennent la programmation du firmware, dont le code source et le binaire sont générés pour être flashés via le navigateur internet. Actuellement, deux types de firmware sont disponibles : un assistant générique et un contrôleur vocal à commande vocale compatible avec Matter et Thread. Pour plus de détails, les utilisateurs peuvent se référer à GitHub. Les étapes suivantes incluent la provision de l’appareil par le biais de l’application ESP RainMaker Home, la configuration optionnelle d’un nouvel agent sur l’appareil en utilisant un code QR, puis l’interaction avec l’appareil par voix.

Pour commencer, visitez agents.espressif.com.