Reconnaissance des gestes de la main sur ESP32-S3 avec la bibliothèque ESP-DL

Ali Hassan Shah a déployé un modèle d’apprentissage en profondeur pour la reconnaissance des gestes de la main sur la carte ESP32-S3-EYE à l’aide de la bibliothèque ESP-DL et a obtenu une reconnaissance des mains alimentée par l’IA avec une latence de 0,7 seconde sur la carte caméra ESP32-S3.

L’année dernière, Espressif a publié la bibliothèque ESP-DL pour le microcontrôleur ESP32-S3 avec des extensions vectorielles AI, ainsi que ESP32 et ESP32-S2, ainsi qu’une démo de détection de visage qui s’est déroulée beaucoup plus rapidement sur l’ESP32-S3. Ali a déployé sa propre solution pour la reconnaissance des gestes par IA et a fourni un didacticiel étape par étape en cours de route.

Les principales étapes du déploiement d’un modèle personnalisé avec la bibliothèque ESP-DL incluent :

• Développement de modèles impliquant
  • Obtenir ou créer des ensembles de données. Dans ce cas, téléchargé depuis Kaggle avec 6 gestes à savoir Palm, I, Thumb, Index, Ok et C.
  • Tester, former et calibrer les ensembles de données
  • Construire un modèle (CNN)
  • Former un modèle
  • Enregistrement d’un modèle au format de données hiérarchiques (.h5)
  • Conversion du modèle H.5 au format ONNX pour compatibilité avec la librairie ESP-DL
• Format ESP-DL – Une conversion supplémentaire du format ONNX au format ESP-DL à l’aide de l’IDE PyCharm pour exécuter l’optimiseur Python fourni par la bibliothèque ESP-DL
• Étapes de déploiement du modèle
  • Créer un nouveau projet dans VS-Code basé sur le framework ESP-IDF
  • Définition du modèle – Importez des bibliothèques à partir du modèle, déclarez, initialisez, créez et appelez des couches
• Étapes d’exécution du modèle
  • Importer les bibliothèques requises
  • Déclarer l’entrée
  • Définir la forme d’entrée
  • Appeler un modèle
  • Entrée moniteur

Bien qu’il soit formidable de pouvoir exécuter des charges de travail d’IA sur du matériel relativement bas de gamme comme le MCU ESP32-S3, ce n’est pas exactement facile et nécessite du travail. Je suppose que c’est pour cette raison que des solutions telles que Edge Impulse ont été créées, même si je ne l’ai pas trouvée particulièrement simple lorsque je l’ai essayée avec la carte Xiao BLE Sense. Mais avec le recul, cela semble beaucoup plus facile que de déployer un modèle personnalisé avec la bibliothèque ESP-DL. Si vous souhaitez simplement essayer la démo de reconnaissance gestuelle d’Ali sur la carte ESP32-S3-EYE, c’est beaucoup plus facile, et les ressources et les instructions peuvent être trouvées sur GitHub.