L’accélérateur EdgeCortix SAKURA-II Edge AI offre jusqu’à 60 TOPS dans une enveloppe de puissance de 8 W

EdgeCortix vient d’annoncer son accélérateur SAKURA-II Edge AI avec son architecture Dynamic Neural Accelerator (DNA) de deuxième génération délivrant jusqu’à 60 TOPS (INT8) dans une enveloppe de puissance de 8 watts et adapté à l’exécution de tâches d’IA génératives complexes telles que les grands modèles de langage ( LLM), les modèles à grande vision (LVM) et les applications multimodales basées sur des transformateurs en périphérie.

Outre l’accélérateur d’IA lui-même, la société a conçu une gamme de modules M.2 et de cartes PCIe avec une ou deux puces SAKURA-II délivrant jusqu’à 120 TOPS avec INT8, 60 TFLOPS avec BF16 pour permettre l’IA générative dans le matériel existant avec un M de rechange. .2 Prise 2280 ou emplacement PCIe x8/x16.

Accélérateur IA SAKURA-II Edge

Spécifications clés du SAKURA-II :

• Moteur de traitement neuronal – Architecture d’accélérateur neuronal dynamique (ADN) de deuxième génération DNA-II
• Performance
  • 60 HAUTS (INT8)
  • 30 TFLOPS (BF16)
• DRAM – Double LPDDR4x 64 bits (8 Go, 16 Go ou 32 Go intégrés)
• Bande passante DRAM – 68 Go/s
• SRAM sur puce – 20 Mo
• Efficacité de calcul – Jusqu’à 90 % d’utilisation
• Consommation d’énergie – 8 W (typique)
• Emballage – BGA 19 mm x 19 mm
• Plage de température – -40°C à 85°C

La plate-forme SAKURA-II est programmable avec la suite logicielle MERA comprenant une plate-forme de compilateur hétérogène, des capacités avancées de quantification et d’étalonnage de modèle. La suite logicielle prend en charge nativement les frameworks de développement tels que PyTorch, TensorFlow Lite et ONNX. Il s’intègre également à la bibliothèque de modèles MERA, en interface avec Hugging Face Optimum, pour offrir une large gamme des derniers modèles de transformateurs tels que Llama-2 ou Stable Diffusion, et des modèles convolutifs tels que Yolo V8.

Accélérateurs SAKURA-II M.2 et PCIe

EdgeCortix peut fournir le SAKURA-II en tant que périphérique autonome comme décrit ci-dessus, mais la société a également travaillé sur deux modules M.2 avec une seule puce et une capacité DRAM de 8 Go ou 16 Go, ainsi que des cartes PCIe à profil bas pour un ou deux appareils. .

Principales caractéristiques des modules M.2 SAKURA-II :

• DRACHME
  • 8 Go (2x banques de 4 Go LPDDR4) OU
  • 16 Go (2x banques de 8 Go LPDDR4)
• Interface hôte – PCIe Gen 3.0 x4
• Performances maximales – 60 TOPS avec INT8, 30 TFLOPS avec BF16
• Puissance du module – 10 W (typique)
• Dimensions – Module M.2 Clé M 2280 (22 mm x 80 mm)

Les modèles 8 Go et 16 Go ont les mêmes performances et la même consommation d’énergie typique, donc sélectionner l’un par rapport à l’autre consiste simplement à savoir si le modèle s’adaptera à 8 Go de RAM ou nécessitera plus.

Spécifications des cartes PCIe :

• Interface hôte – PCIe Gen 3.0 x8
• Modèle monopuce
  • Mémoire DRAM – 16 Go (2 banques de 8 Go LPDDR4)
  • Performances maximales – 60 TOPS avec INT8, 30 TFLOPS avec BF16
  • Puissance de la carte – 10 W (typique)
• Modèle à double puce
  • Mémoire DRAM – 32 Go (2 banques de 16 Go LPDDR4)
  • Performances maximales – 120 TOPS avec INT8, 60 TFLOPS avec BF16
  • Puissance de la carte – 20 W (typique)
• Facteur de forme – PCIe profil bas, emplacement unique
• Accessoires inclus – Supports mi-hauteur et pleine hauteur et dissipateur thermique actif ou passif

EdgeCortix accepte les précommandes de modules M.2 et de cartes PCIe pour une livraison au deuxième semestre 2024 aux prix suivants :

• M.2 8 Go – 249 $
• M.2 16 Go – 299 $
• PCIe simple – 429 $
• PCIe double – 749 $

Nous voyons de plus en plus d’accélérateurs M.2 et PCIe Edge AI, les plus populaires (sur la base des reportages) étant les modules Google Coral Edge TPU, Intel Myriad X et Hailo-8. Il en existe d’autres comme le module Axelera AI qui est le plus impressionnant sur le papier, mais il est toujours difficile de comparer différents accélérateurs faute de benchmark standardisé.

Alors que les fournisseurs de silicium intègrent désormais de puissants accélérateurs d’IA dans les SoC, y compris les nouveaux d’Intel et d’AMD, il est difficile de savoir si ce type d’accélérateurs d’IA aura une longue durée de vie devant eux, sauf s’ils peuvent être combinés avec des processeurs bas de gamme. Seul le temps nous le dira.

Vous trouverez plus de détails sur la puce et le module SAKURA-II sur la page produit et dans le communiqué de presse.

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :