L’accélérateur MemryX MX3 Edge AI offre jusqu’à 5 TOPS et est proposé sous forme de puce, de boîtier et de modules M.2 et mPCIe.

Jean-Luc a noté le module accélérateur MemryX MX3 Edge AI tout en couvrant les accélérateurs DeGirum ORCA M.2 et USB Edge AI le mois dernier. Aujourd’hui, nous allons donc examiner cette puce AI et les modules correspondants qui exécutent des réseaux neuronaux de vision par ordinateur en utilisant des frameworks courants tels que TensorFlow, TensorFlow Lite, ONNX, PyTorch et Keras.

Spécifications MemryX MX3

MemryX n’a ​​pas divulgué beaucoup de statistiques de performances sur cette puce. Tout ce que nous savons, c’est qu’il propose plus de 5 TFLOP. Les spécifications répertoriées incluent :

• Activations Bfloat16
• Lot = 1
• Poids : 4, 8 et 16 bits
• ~ 10 millions de paramètres stockés sur la matrice
• Interfaces hôtes – E/S PCIe Gen 3 et/ou USB 2.0/3.x
• Consommation d’énergie – ~ 1,0 W
• Compilation en 1 clic pour le MX-SDK lors du mappage de réseaux de neurones comportant plusieurs couches

Sous le capot, le MX3 intègre des moteurs de calcul MemryX (MCE) qui sont étroitement couplés à l’informatique en mémoire. Cette conception crée une architecture de flux de données native et propriétaire qui utilise jusqu’à 70 % de la puce en un seul clic, contre 15 à 30 % sur les processeurs, GPU et DSP traditionnels qui utilisent des jeux d’instructions et des architectures de flux de contrôle hérités après le réglage du logiciel.

Facteur de forme

En termes de facteur de forme, ce processeur Edge AI est proposé soit sous forme de puce nue, soit sous forme de boîtier à puce unique, soit sous forme de modules (mini PCIe ou M.2) avec une ou plusieurs puces MemryX MX3.

MemryX MX3 EVB

Le MX3 EVB (Evaluation Board) est un PCBA avec quatre puces MX3, et vous pouvez mettre en cascade plusieurs cartes EVB à l’aide d’une seule interface pour fournir la puissance d’inférence requise. Chacune de ces quatre puces possède un boîtier à puce unique.

SDK MX3

Le SDK MX aide à simuler et à déployer les modèles d’IA formés. MemryX construit ses produits pour :

• Fournit des performances réelles par watt
• Exécutez des modèles formés sur n’importe quel framework populaire sans nécessiter de modifications logicielles ni de recyclage
• Fournir une évolutivité et une granularité élevées
• Exécutez les modèles d’IA de la même manière sur chaque processeur hôte, quelle que soit la charge du système
• Fournissez le même SDK en 1 clic (logiciel de compilation)

Le hub de développement de ce SDK se compose d’un compilateur (pour le traitement, le mappage et l’assemblage de graphiques), d’outils utilitaires (un simulateur au bit précis, un analyseur de performances, un profileur, des outils d’aide à la puce et des applications de modèles) et d’un environnement d’exécution avec des API, un système d’exploitation. des pilotes et un runtime de flux de données.

Vous pouvez utiliser le MX3 EVB avec les déploiements Edge Impulse après avoir installé des dépendances telles que Python 3.8+, les outils et pilotes MemryX et Edge Impulse (pour Linux). Ensuite, connectez la carte à Edge Impulse, puis vérifiez qu’elle est connectée en accédant à vos projets et en cliquant sur « appareils ».

Démo MemryX MX3

Bien que la société n’ait pas fourni beaucoup de détails sur les performances de la puce, elle a mis en ligne une démonstration vidéo utilisant l’entrée de la caméra virtuelle d’AirSim – un logiciel qui crée des ensembles de données pour la conduite et le vol autonomes – comparant un ordinateur équipé d’un module MX3 M.2. à un équipé du GPU NVIDIA 4060.

La latence était très faible lors de l’exécution sur le module MX3, mais a considérablement augmenté lors du passage au GPU NVIDIA 4060, et le bruit fort des ventilateurs de refroidissement était clairement perceptible.



Plus de détails peuvent être trouvés sur le site Web de la société.

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :