Comme le rapporte cnx-software, la société Espressif Systems a introduit un nouveau framework nommé ESP-Claw. Ce dernier permet de développer des agents d’intelligence artificielle capables d’interagir avec les composants matériels des appareils basés sur la plateforme ESP32.
ESP-Claw et ses 8 Mo de mémoire requise : un pas vers une IA locale performante
Le framework ESP-Claw offre la possibilité aux cartes ESP32 de réagir à divers événements, de traiter des décisions à l’aide de modèles de langage de grande taille (LLM) et de garder un contexte pertinent, tout cela localement sans besoin de se connecter au cloud, sauf si cela est absolument nécessaire. Ces agents sont capables de gérer des capteurs et de contrôler des éléments comme des bandes LED RVB, ce qui leur permet d’exécuter des actions concrètes.
Une latence d’une milliseconde : Réactivité et interactivité exceptionnelles
Les principaux avantages offerts par ESP-Claw incluent la possibilité de coder par le biais de conversations naturelles. Grâce à l’architecture LLM, les décisions dynamiques sont prises, tandis que les scripts Lua permettent des exécutions déterministes, même en mode hors ligne. En termes de rapidité de réponse, les appareils réagissent aux événements presque instantanément, grâce à un bus d’événements local qui gère des règles Lua pour les capteurs et les déclencheurs, engendrant ainsi des latences d’une milliseconde tant en ligne qu’hors ligne.
ESP-Claw fonctionne également en mode plug-and-play avec le protocole MCP, agissant simultanément comme serveur et client, ce qui facilite l’exposition du matériel aux agents lors de l’accès à des services externes. La gestion de la mémoire intégrée est une autre caractéristique essentielle, car elle permet de conserver des informations à long terme directement sur la puce. Les données personnelles sont ainsi protégées, puisqu’elles ne sortent jamais des appareils. Les préférences et routines s’extraient automatiquement des interactions.
Le site dédié au projet met à disposition différentes démonstrations, y compris le contrôle d’une bande LED RVB et la création de jeux interactifs en soufflant dans un microphone. L’utilisation d’ESP-Claw nécessite un minimum de 8 Mo de mémoire Flash et de PSRAM, et le cadre est actuellement limité à l’Esp32-S3, avec des extensions prévues pour l’Esp32-P4. Pour démarrer, il suffit de se procurer une carte compatible ainsi que des composants supplémentaires, puis de flasher le firmware via Web Flasher ou d’utiliser l’option de compilation à partir des sources.
ESP-Claw est compatible avec plusieurs applications de messagerie, telles que Telegram, QQ Bot, Feishu et WeChat ClawBot, tout en intégrant également la recherche via Tavily. Pour tirer pleinement parti de cette technologie, il est également essentiel de configurer un LLM, avec des options disponibles comme OpenAI, Qwen, ChatGPT ou des solutions personnalisées pour utilisateurs avancés. Après l’installation, il devient possible de gérer la carte ESP32-S3 directement via l’application de messagerie choisie.
La vidéo ci-dessous présente le code généré automatiquement pour effectuer un effet arc-en-ciel sur une bande LED RVB, avec 40 LEDs connectées à IO 14. De plus, la société M5Stack, liée à Espressif, a également mis en ligne une démo vidéo pour l’utilisation d’ESP-Claw sur ses produits StickS3 et CoreS3.
