Firefly AIBOX-1684X est un boîtier IA compact basé sur le processeur octa-core Arm Cortex-53 SOPHON BM1684X avec un accélérateur IA 32 TOPS adapté aux grands modèles de langage (LLM) tels que Llama 2, la solution de génération d’images à diffusion stable et les CNN et traditionnels. Architectures de réseaux neuronaux RNN.
Firefly avait déjà publié plusieurs modèles basés sur le processeur SOPHON BM1684X AI avec l’ordinateur Firefly EC-A1684XJD4 FD Edge AI complet et la carte mère AIO-1684XQ, mais le boîtier AI AIBOX-1684X offre le même niveau de performances, juste sans que de nombreuses interfaces, dans un boîtier compact mesurant seulement 90,6 x 84,4 x 48,5 mm.
Spécifications du boîtier AI AIBOX-1684X :
- SoC – SOPHGO SOPHON BM1684X
- Processeur – Processeur Arm Cortex-A53 octa-core jusqu’à 2,3 GHz
- TPU – Jusqu’à 32TOPS (INT8), 16 TFLOPS (FP16/BF16), 2 TFLOPS (FP32)
- Unité virtuelle virtuelle
- Décodage vidéo jusqu’à 32 canaux H.265/H.264 1080p25
- Traitement vidéo HD 1080p25 jusqu’à 32 canaux (décodage + analyse IA)
- Encodage vidéo jusqu’à 12 canaux H.265/H.264 1080p25fps
- Mémoire système – 8 Go, 12 Go ou 16 Go LPDDR4/LPDDR4X
- Stockage
- Flash eMMC de 32 Go, 64 Go ou 128 Go
- Emplacement pour carte MicroSD
- Sortie vidéo et audio – port HDMI jusqu’à 1080p30
- Mise en réseau – 2 ports Gigabit Ethernet RJ45
- USB – 2 ports USB 3.0, 1 port de débogage série USB-C
- Divers – Bouton d’alimentation, LED
- Alimentation – 12 V/4 A via prise jack d’alimentation 5,5/2,5 mm.
- Dimensions – 90,6 x 84,4 x 48,5 mm
- Poids – 420 grammes
- Plage de température – Fonctionnement : -20°C à 60°C ; stockage : -20°C à 70°C
- Humidité – 10 % ~ 90 % (sans condensation)
Firefly n’a pas encore fourni de documentation pour le nouveau boîtier AI AIBOX-1684X, mais le wiki de l’un des systèmes BM1684X précédents montre qu’il exécute Ubuntu 20.04 avec le noyau Linux 5.4 LTS (image publiée en juillet 2023) et que Docker est également apparemment préinstallé dans le image.
La société explique également que l’AIBOX-1684X est adaptée au déploiement local de « modèles de paramètres à très grande échelle sous l’architecture Transformer » tels que les grands modèles de langage (LLM) tels que LLaMa2, ChatGLM et Qwen, ainsi que la grande vision. des modèles comme ViT, Grounding DINO et SAM. Le modèle de génération d’images Stable Diffusion V1.5 est également pris en charge, tout comme les architectures de réseau traditionnelles telles que CNN, RNN et LSTM (mémoire longue à court terme). Les utilisateurs peuvent s’appuyer sur des frameworks populaires tels que TensorFlow, PyTorch, MXNet, PaddlePaddle, ONNX et Darknet pour des modèles pré-entraînés ou personnalisés. Plus de détails sur le logiciel peuvent être trouvés dans la section SOPHON SDK du wiki.
Firefly n’est pas la seule entreprise à lancer une AI Box basée sur un processeur SOPHON puisque la Radxa Fogwise Airbox vient d’être dévoilée basée sur le processeur SOPHON SG2300X qui semble presque identique au BM1684X, sauf qu’elle délivre (seulement) 24 TOPS. Il semble étrange que des processeurs similaires fassent plus ou moins la même chose, alors j’ai demandé, et on m’a dit que le SG2300X prend en charge l’IA générative « open source », alors que le BM1684X ne le fait pas. Je pourrai en savoir plus et le tester par moi-même prochainement puisque je compte recevoir un échantillon de la Fogwise Airbox d’ici la fin du mois ou début mai.
En attendant, vous pouvez essayer le modèle Llama3 8B qui vient de sortir sur la boîte à air Radxa Fogwise, comme je l’ai fait en demandant « Que savez-vous du logiciel Raspberryme ? Certains détails sont incorrects, mais le texte a été rendu relativement rapidement.
Le Firefly AIBOX-1684X est disponible dès maintenant, mais uniquement en Chine (Taobao) pour 2 499 CNY, soit environ 344 $ US, mais Firefly a déclaré à Raspberryme Software qu’il le vendrait également sur sa boutique en ligne « très bientôt », afin que tout le monde puisse l’obtenir. [Update April 28, 2024: The AIBOX-1684X with 16GB RAM and 64GB flash is now sold for $369] Pour référence, la Radxa Fogwise Airbox – que j’aborderai plus en détail une fois que j’aurai reçu un échantillon – peut être précommandée pour 321 $ et plus sur Arace Tech. Des informations supplémentaires sur le Firefly AIBOX-1684X peuvent également être trouvées sur la page produit.
Retrouvez l’histoire de Raspberry Pi dans cette vidéo :
