Le module Hailo-10 M.2 Key-M amène l’IA générative à la pointe avec jusqu’à 40 TOPS de performances

Hailo-10 est un nouveau module M.2 Key-M qui apporte les capacités d’IA générative à la périphérie avec jusqu’à 40 TOPS de performances à faible consommation. Il cible les PC IA prenant actuellement en charge uniquement le système d’exploitation Windows 11 sur les cibles x86 ou Aarch64.

Hailo affirme que le Hailo-10 est plus rapide et plus économe en énergie que les solutions d’unité de traitement neuronal (NPU) intégrées trouvées dans les SoC Intel et offre au moins deux fois les performances avec la moitié de la puissance du NPU Core Ultra « AI Boost » d’Intel.

Spécifications du module Hailo-10 :

• Accélérateur d’IA – Hailo-10H
• Mémoire système – 8 Go LPDDR4 sur le module
• Interface hôte – PCIe Gen 3 à 4 voies
• Consommation d’énergie – Moins de 3,5 W (typique) pour la puce
• Facteur de forme – Clé M.2 M 2242/2280
• Frameworks d’IA pris en charge – TensorFlow, TensorFlow Lite, Keras, PyTorch et ONNX

Le Hailo-10 peut exécuter Llama2-7B avec jusqu’à 10 jetons par seconde (TPS) avec moins de 5 W de puissance, tandis qu’il peut générer une image à partir de texte en moins de 5 secondes en utilisant Stable Diffusion 2.1 dans la même enveloppe de puissance. Comme de nombreuses autres technologies, l’IA générative passe du cloud vers l’appareil lui-même, permettant une latence plus faible et une prise en charge hors ligne.

Le Hailo-10 est pris en charge par la suite logicielle d’IA comme ses prédécesseurs (Hailo-8 et Hailo-15) avec un compilateur de flux de données, un zoo modèle avec les formats de modèle TensorFlow et ONNX, l’application d’IA pré-entraînée Hailo TAPPAS, le logiciel d’exécution HailoRT pour le processeur hôte et le micrologiciel Hailo-10H.

Les modules M.2 basés sur Hailo-10H peuvent être branchés sur des PC et des appareils de périphérie existants avec un socket M.2 PCIe de rechange pour ajouter des capacités d’IA générative. La société affirme que les modules d’accélération Hailo-10 AI cibleront dans un premier temps les PC et les systèmes d’infodivertissement automobiles pour alimenter les chatbots, les copilotes, les assistants personnels et les systèmes d’exploitation à commande vocale intégrés aux appareils. Il s’agit de la deuxième puce d’IA générative pour la périphérie que nous avons abordée sur Raspberryme Software, puisque le SoC Ambarella N1 qui combine 16 cœurs Arm Cortex-A78AE et un accélérateur d’IA dans une seule puce a été dévoilé en janvier 2024.

La société annonce qu’elle commencera à expédier des échantillons de l’accélérateur Hailo-10 GenAI au deuxième trimestre 2024. Le précédent accélérateur Hailo-8 AI a trouvé sa place dans de nombreux systèmes de divers fournisseurs de PC embarqués, mais le Hailo-10 conviendra également aux consommateurs. dispositifs. Cela peut prendre un certain temps avant qu’il ne soit plus largement disponible, comme par exemple, le Hailo-15 a été introduit pour la première fois en mars 2023, mais le premier appareil commercial, le SoliRun Hailo-15 SoM, n’a été annoncé qu’il y a quelques jours. Des informations supplémentaires, y compris une fiche produit, peuvent être trouvées sur la page produit.

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :