Les accélérateurs DeGirum ORCA M.2 et USB Edge AI prennent en charge les formats de modèles Tensorflow Lite et ONNX

Je viens de tomber sur un serveur Edge AI basé sur Atom proposé avec une gamme de modules d’accélérateur d’IA, à savoir le Hailo-8, le Blaize P1600, le Degirum ORCA et le MemryX MX3. Je n’avais jamais entendu parler des deux derniers, et nous aborderons peut-être le module MemryX un peu plus tard, mais aujourd’hui, je vais me pencher de plus près sur la puce Degirum ORCA et le module M.2 PCIe.

Le DeGirum ORCA est proposé sous forme d’ASIC, de module M.2 2242 ou 2280 PCIe, ou (bientôt) de module USB et prend en charge les formats de modèles TensorFlow Lite et ONNX et la précision INT8 et Float32 ML. Ils ont été annoncés en septembre 2023 et ont déjà été testés sur une gamme de mini PC et de boîtiers PC embarqués d’Intel (NUC), AAEON, GIGABYTE, BESSTAR et Seeed Studio (reComputer).

Spécifications DeGirum ORCA :

• Formats de modèle ML pris en charge – ONNX, TFLite
• Précision du modèle ML pris en charge – Float32, Int8
• Interface DRAM – En option 1 Go, 2 Go ou 4 Go LPDDR4X 32 bits
• Interfaces hôtes
  • PCIe 2 × 4 (Gen 3, port root et point de terminaison)
  • USB – USB 3.1 Gen2, USB 2.0
• Autres E/S – QSPI maître/esclave, I2C, UART, 32x GPIO
• Divers – Architecture évolutive, ce qui signifie que plusieurs puces peuvent être connectées pour augmenter linéairement les performances
• Consommation d’énergie – < 3,5 W
• Emballage – Boule BGA 484 15 x 15 mm MAF-FCCSP
• Plage de température – 0°C à 70°C

Degirum vend deux modules M.2 PCIe : un module M.2 2280 avec DRAM qui consomme moins de 4,5 Watts, et un module M.2 2242 sans DRAM qui consomme moins de 4 Watts. Les dongles USB ORCA sont également répertoriés (sans détail) et ne sont présentés qu’en précommande pour le moment. L’avantage d’avoir de la RAM sur le module s’explique ainsi :

La prise en charge de l’accès à la DRAM dans notre accélérateur d’IA offre des avantages significatifs aux utilisateurs. Grâce à la possibilité d’accéder directement à la DRAM, notre accélérateur d’IA peut fournir des taux de transfert de données plus rapides, ce qui se traduit par des performances améliorées et une latence réduite. En plus de fournir des taux de transfert de données plus rapides, la prise en charge de l’accès DRAM dans notre accélérateur d’IA permet également une commutation rapide et transparente des modèles de réseaux neuronaux (NN). Grâce à cette fonctionnalité, nos clients peuvent facilement basculer entre différents modèles NN sans avoir besoin de transferts de données fastidieux, réduisant ainsi les temps d’arrêt et augmentant la productivité. Cette fonctionnalité est particulièrement utile pour les applications qui nécessitent des changements fréquents de modèle, telles que la reconnaissance d’images ou de parole, où différents modèles peuvent être nécessaires pour gérer différents ensembles de données ou des tâches spécifiques. En permettant un changement rapide de modèle directement à partir de la DRAM, notre accélérateur d’IA offre aux utilisateurs une plus grande flexibilité et efficacité dans leurs flux de travail d’IA.

Je n’ai trouvé aucun numéro TOPS (plus ou moins utile), mais la société fournit des mesures de performances d’apprentissage automatique avec les « DeGirum YOLO_V5s avec une taille d’entrée de 512 × 512 » traités à 120 FPS (Dense) ou 180 FPS (Prune) avec un latence de 8,3 ms (Dense) et 5,5 ms (Élagué). Vous trouverez des benchmarks supplémentaires dans le référentiel d’exemples PySDK fourni avec divers échantillons Python (détection d’objets, classification sonore, reconnaissance de plaque d’immatriculation, etc.) utilisant le SDK Degirum et des modèles tels que MobileNet v2/1, Yolov5 et resnet50. Le SDK est pris en charge sous Linux, mais la société affirme également que la prise en charge de Windows et Mac peut être fournie sur demande. La documentation technique est disponible sur le site Web de l’entreprise.

Les cartes M.2 PCIe peuvent être commandées dès maintenant, mais seulement après avoir indiqué le nom de votre entreprise et la quantité de commande prévue. Le dongle ORCA USB 3.1 Gen2 n’est disponible qu’en précommande via un processus similaire, et je n’ai pas trouvé de prix. Il est cependant possible d’évaluer le matériel ORCA via la plateforme cloud de l’entreprise qui comprend un forfait gratuit. Plus de détails peuvent être trouvés sur la page produit.

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :