Selon cnx-software, M5Stack a récemment introduit le « AI-88502 LLM Accelerator M.2 Kit 8GB Version ». Ce kit, basé sur la carte LLM-8850 M.2, intègre un SoC Axera AX8850 capable de réaliser jusqu’à 24 TOPS. Ce dispositif se positionne comme une alternative viable au Raspberry Pi AI HAT+ 2, en prenant en charge des applications de vision LLM et d’IA.
Axera AX8850 avec 8 Go LPDDR4x : des performances boostées pour la vision IA
Le kit M5Stack comprend à la fois la carte M.2 et une carte adaptateur Raspberry Pi-HAT 8850. Il est équipé d’une entrée d’alimentation USB PD pour alimenter à la fois la carte et le Raspberry Pi 5, ainsi que d’un connecteur PCIe à 16 broches et d’un connecteur GPIO à 40 broches pour faciliter la connexion au SBC. Des accessoires complémentaires sont également inclus.
8 Go à 4266 Mbit/s : la mémoire et le refroidissement optimaux pour des charges lourdes
La carte M.2 LLM‑8850 est dotée d’un processeur octa-core Cortex‑A55 qui fonctionne à 1,7 GHz. Elle inclut un NPU capable de produire 24 TOPS @ INT8. Ce kit propose deux options de mémoire, avec l’option la plus performante étant 8 Go LPDDR4x fonctionnant à 4266 Mbit/s. Pour le stockage, il y a un QSPI NOR de 32 Mbits, exclusivement destiné au chargeur de démarrage, tandis que l’interface hôte est en PCIe 2.0 x2 via un connecteur M.2 Key-M Edge. En termes de refroidissement, on retrouve un micro ventilateur associé à un dissipateur thermique en alliage d’aluminium, garantissant une utilisation optimale.
D’autre part, ce kit consomme jusqu’à 7 watts et présente des dimensions de 42,6 x 24,0 x 9,7 mm pour un poids de 14,7 grammes. La carte adaptateur Pi HAT 8850 offre diverses interfaces pour le Raspberry Pi, y compris un connecteur PCIe Gen2/3 à 16 broches et un en-tête GPIO à 40 broches, facilitant ainsi l’extension des broches.
En plus des éléments matériels, le kit prend également en charge AXCL pour l’exécution rapide de modèles complets, tels que CNN, Transformer, et Whisper. Avec un Raspberry Pi 5 équipé de ce kit, vous pouvez démarrer diverses démonstrations disponibles dans le wiki et profiter de modèles aussi variés que YOLO11 et Whisper.
Performances comparatives : 15,03 jetons/s contre 11,73 jetons/s pour HAT+ 2
À titre de comparaison, lors de l’évaluation du Raspberry Pi AI HAT+ 2, il a été noté que ses performances d’IA en vision étaient bonnes, mais celles des LLM étaient moins optimales, routant même plus lentement que l’exécution sur le processeur standard d’un Raspberry Pi 5. Cela s’explique par une bande passante mémoire limitée, l’accélérateur AI Hailo-10H de l’AI HAT+ 2 étant réservé à une mémoire similaire de 8 Go LPDDR4X-4267. L’Axera AX8850, avec sa mémoire de 8 Go LPDDR4x 64 bits à 4266 Mbps, devrait ainsi offrir des performances comparables. Pour référence, un 6,74 jetons/s a été mesuré sur le HAT+ 2, comparé à 11,73 jetons/s sur le devkit CM5 avec un modèle spécifique, affichant potentiellement 15,03 jetons/s sur l’Axera AX8850 dans le wiki.
Bien que le kit LLM-8850 présente un réel avantage grâce à son VPU intégré pour un traitement vidéo matériel performant, il est important de noter que le module Axera consomme plus d’énergie que le Hailo-10H, nécessitant un refroidissement actif. De plus, le kit AI-8850 LLM Accelerator M.2 est proposé à un tarif de 215 $, contre 130 $ pour le Raspberry Pi AI HAT+ 2.
En conclusion, ce kit se positionne comme un excellent choix pour quiconque cherche à exploiter les capacités LLM et vidéo avec efficacité, même si son coût plus élevé est un facteur à considérer.
