Test de la boîte AI Radxa Fogwise Airbox Edge – Partie 1 : Spécifications, démontage et premier essai

Radxa Fogwise Airbox, également connu sous le nom de Fogwise BM168M, est un boîtier d’IA de pointe alimenté par un SoC Arm SOPHON BM1684X avec un TPU 32 TOPS intégré et un VPU capable de gérer le décodage de jusqu’à 32 flux vidéo HD. L’appareil est équipé de 16 Go de RAM LPDDR4x et d’un flash eMMC de 64 Go et dispose de deux prises Gigabit Ethernet RJ45, de quelques ports USB, d’un haut-parleur et bien plus encore.

Radxa nous a envoyé un échantillon pour évaluation. Nous commencerons la test Radxa Fogwise Airbox en vérifiant les spécifications et le matériel avec un déballage et un démontage, avant de tester diverses charges de travail d’IA avec Tensorflow et/ou d’autres frameworks dans la deuxième partie de la test.

Spécifications de la boîte à air Fogwise de Radxa

Les spécifications ci-dessous proviennent de la page produit au 30 mai 2024 :

• SoC – SOPHON SG2300x
  • Processeur – Processeur octa-core Arm Cortex-A53 jusqu’à 2,3 GHz
  • Unité virtuelle virtuelle
    • Décodage jusqu’à 32 canaux 1080p25 avec H.265/H.264
    • Traitement complet de 32 canaux 1080p25 avec décodage et analyse IA
    • Encodage jusqu’à 12 canaux 1080p25 avec H.265/H.264
    • JPEG jusqu’à 1080p600 (pas de faute de frappe, cela fait 600 FPS) jusqu’à 32 768 x 32 768
    • Post-traitement vidéo tel que les réglages CSC, redimensionnement, recadrage, remplissage, bordure, police, contraste et luminosité de l’image.
  • TPU – Unité de traitement Tensor avec jusqu’à 24 TOPS (INT8), 12 TFLOPS (FP16/BF16) et 2 TFLOPS (FP32) avec prise en charge de TensorFlow, Caffe, PyTorch, Paddle, ONNX, MXNet, Tengine et DarkNet
• Mémoire système – 16 Go LPDDR4X
• Stockage
  • Flash eMMC intégré de 64 Go
  • Connecteur M.2 M Key pour SSD NVMe 2230
  • Emplacement pour carte MicroSD
• La mise en réseau
  • 2x ports Ethernet Gigabit
  • WiFi et Bluetooth en option via le module M.2 E Key
• USB
  • 2x ports hôtes USB 3.0
  • 1x port UART de débogage USB Type-C
• Alimentation – 20 V via le port USB Type-C, au moins 65 W
• Dimensions – 104 x 84 x 52 mm (boîtier métallique avec refroidissement actif)
• Plage de température – 0°C à +45°C
• Certification de conformité – FCC/CE

Les spécifications et le design sont presque exactement les mêmes que ceux du Firefly AIBOX-1684X, mais à l’exception du SOPHON BM1684X (32 TOPS) utilisé à la place du SOPHON SG2300x (24 TOPS), et des deux prises M.2 qui ne semblent pas fonctionner. être disponible dans la boîte Firefly AI. Au moment de l’article Firefly (avril 2024), on m’a dit que « le SG2300X prend en charge l’IA générative open source, contrairement au BM1684X », mais il semble que les deux puces soient interchangeables pour en savoir plus ci-dessous…

Sur la base de la documentation, le micro-serveur Radxa Fogwise Airbox AI exécute le système d’exploitation léger CasaOS offrant une solution de stockage cloud privé pour les utilisateurs à domicile. La société propose également un « zoo modèle Radxa » avec ResNet-50, YOLOv5-det, YOLOv8-seg pour la détection, la reconnaissance et la segmentation d’objets, et fournit des instructions pour exécuter des LVM ou des LLM tels que Stable Diffusion et Llama-3.

Déballage du Fogwise « BM168M »

La Fogwise Airbox est livrée dans une boîte de vente au détail indiquant « Fogwise BM168M Edge Micro-Sever for AI ». Outre la faute de frappe, j’ai été surpris par la taille du package car je m’attendais à quelque chose d’un peu plus grand, similaire aux packages mini PC. L’autre chose est qu’il ne s’appelle pas « Fogwise Airbox », mais « Fogwise BM168M » sur l’emballage.

De plus, si nous regardons le bas de l’emballage, nous pouvons voir les spécifications de base qui indiquent « Power by SOPHON BM1684X » au lieu de « Powered by SOPHON SG2300X » comme je m’y attendais. Le package répertorie également les frameworks pris en charge : PyTorch, ONNX, Baidu PaddlePaddle, Cafee, Tensforflow, MXNET et Darknet.

Radxa Fogwise Airbox est indiqué sur l’autocollant en bas, mais comme le démontage ci-dessous révélera plus de chaînes BM1684X, j’ai demandé à Radxa s’il était normal d’avoir reçu un appareil BM1684X au lieu d’un avec SG2300x. On m’a finalement dit que j’avais reçu ce dernier car lorsque le modèle contient la chaîne « R31 », le système est basé sur SG2300x, tandis que s’il y a R22, il est alimenté par BM1684X. SG2300x et BM1684X sont essentiellement les mêmes puces et la principale différence est que SG2300x est un appareil SOPHGO, tandis que BM1684X fait référence à Bitmain. Ce dernier se concentre désormais sur le matériel de minage (crypto).

Il n’y a pas grand-chose à l’intérieur du boîtier, car l’appareil lui-même occupe 99 % de l’espace, et nous n’avons qu’un autocollant « QC réussi » et une carte de garantie (face arrière non montrée sur la photo ci-dessus) avec des codes QR de l’autre côté pointant vers à la documentation (le lien ne fonctionne pas, mais je l’ai trouvé avec une recherche sur le Web, voir la section spécifications) et au forum communautaire. Cela explique pourquoi le package peut être si petit que les utilisateurs devront se procurer leur propre adaptateur secteur 65 W+ USB-C.

Le panneau arrière comprend deux ports USB 3.0, des ports Ethernet Gigabit WAN et LAN et un port USB-C pour l’alimentation et les trous de ventilation. Le côté gauche comporte un emplacement pour carte microSD et un port de débogage USB-C.

Le côté droit comporte quelques trous pour le haut-parleur intégré.

Démontage de la boîte à air Radxa Fogwise

Jetons un coup d’oeil à l’intérieur.

Nous devrons retirer les quatre patins en caoutchouc et desserrer quatre vis pour retirer le couvercle inférieur.

Celui-ci révèle les prises M.2 Key M et Key E répertoriées dans le cahier des charges ainsi que les câbles des deux antennes WiFi. Il y a un épais coussin thermique qui recouvre une puce au milieu.

Il s’agit d’un commutateur ASMedia ASM2806 PCIe Gen3 x2 avec quatre ports en aval. Retirons quatre entretoises pour sortir la carte principale du boîtier. J’ai également dû débrancher le fil du haut-parleur (indiqué à gauche sur la photo ci-dessous).

Le processeur SOPHGO SG2300x est sur le module CPU et en contact avec le boîtier métallique grâce à de la pâte thermique.

Le dessus du système sur module AIM_1684X_V1 comprend également deux émetteurs-récepteurs Gigabit Ethernet Realtek RTL8211FG et deux puces de mémoire Micron MT53E1G32D4NQ-053 32 Gbits (4 Go) LPDDR4, ce qui signifie qu’il y en a également deux autres en dessous pour un total de 16 Go.

Un PMIC MP7475 de Monolithic Power Systems (MPS) se trouve en bas à droite du module, et un pont VL805 PCIe vers USB 3.0 est présent sur la carte mère pour les deux ports USB 3.0.

Le dernier élément notable de la carte est le convertisseur abaisseur APW8713 8W. Je n’ai pas retiré le module CPU qui est connecté via un seul connecteur B2B à la carte mère.

Premier essai

J’ai remonté l’appareil pour l’essayer. Aucun de mes chargeurs de téléphone USB-C n’atteindra 45 W et l’alimentation USB-C du Raspberry Pi 5 est limitée à 27 W, j’ai donc utilisé une alimentation GaN USB-C de 100 W de MINIX. J’ai également connecté un câble Ethernet au port WAN. Le système a démarré automatiquement dès la mise sous tension.

J’ai recherché l’appareil avec nmap mais rien de nouveau n’est apparu…

</p> <p>jaufranc@Raspberryme-LAPTOP-5:~$ nmap -sP 192.168.31.0/24 Démarrage de Nmap 7.80 ( https://nmap.org ) au 31/05/2024 11:03 +07 …. Nmap terminé : 256 IP adresses (10 hôtes en place) analysées en 3,88 secondes

J’ai donc connecté un USB-A vers USB-C sur le port Debug pour accéder à la console et voir ce qui se passait…

</p> <p>AVIS : GPIO0 : 3600 PCIe 33861041007 AVIS : BOOT : 7000000/5/0 AVIS : Démarrage du micrologiciel approuvé AVIS : BL1 : v2.5 (version) :bm1686_rom_v6 AVIS : BL1 : Construit : 19:08:47, 24 janvier 2022 INFO : BL1 : RAM 0x10002000 – 0x1000d000 INFO : BL1 : Chargement de BL2 AVIS : Essayez la section SPIF B AVIS : Localisez FIP dans le flash SPI (DMMR) AVERTISSEMENT : La vérification de l’en-tête du package d’images du micrologiciel a échoué. ERREUR : Aucune source d’image appropriée pour 1 AVERTISSEMENT : Échec de l’obtention de la référence à l’identifiant de l’image = 1 (-2) ERREUR : Échec du chargement du micrologiciel BL2. AVIS : GPIO0 : 3600 PCIe 34398516996 AVIS : BOOT : 7000000/5/0 AVIS : démarrage du micrologiciel approuvé AVIS : BL1 : v2.5 (version) : bm1686_rom_v6

Le système est bloqué dans une boucle de démarrage… Il semble donc que je doive installer l’image moi-même…

J’ai donc téléchargé l’image Fogwise Airbox B4 et on nous dit de la flasher sur une carte microSD avec des outils comme Etcher, mais USBImager ne prendra pas le fichier… et en regardant dans l’archive tar, ce n’est pas votre fichier img typique…

Je pense donc que je vais m’arrêter pour aujourd’hui et continuer une fois la documentation mise à jour… J’ai donc préparé une carte microSD avec une partition FAT32 et copié le fichier dessus. Après cela, j’ai éteint l’appareil, inséré la carte microSD et l’ai redémarré pour lancer le processus de flashage.

</p> <p>PCIe 110999 AVIS : BOOT : 7000000/5/0 AVIS : Démarrage du micrologiciel approuvé AVIS : BL1 : v2.5 (version) :bm1686_rom_v6 AVIS : BL1 : Construit : 19:08:47, 24 janvier 2022 INFO : BL1 : RAM 0x10002000 – 0x1000d000 AVIS : SD initialisation à 10 000 000 Hz AVIS : GPIO0 : 3600 PCIe 110999 AVIS : BOOT : 7000000/5/0 AVIS : Démarrage du micrologiciel approuvé AVIS : BL1 : v2.5 (version) : bm1686_rom_v6 AVIS : BL1 : Construit : 19:08:47 , 24 janvier 2022 INFO : BL1 : RAM 0x10002000 – 0x1000d000 AVIS : SD initialisation à 10 0000000 Hz AVIS : GPIO0 : 3600 PCIe 110999 AVIS : BOOT : 7000000/5/0 AVIS : Démarrage du micrologiciel de confiance AVIS : BL1 : v2.5 (version) : bm16 86_rom_v6 AVIS : BL1 : Construit : 19:08:47, 24 janvier 2022 INFO : BL1 : RAM 0x10002000 – 0x1000d000 AVIS : SD initialisation à 10 000 000 Hz AVIS : GPIO0 : 3600 PCIe 110999 AVIS : BOOT : 7000000/5/0 AVIS : Démarrage du micrologiciel de confiance NON GLACE : BL1 : v2.5 (version) : bm1686_rom_v6 AVIS : BL1 : Construit : 19:08:47, 24 janvier 2022 INFO : BL1 : RAM 0x10002000 – 0x1000d000 AVIS : SD initialisation à 100000000 Hz AVIS : démarrage à partir de SD INFO : BL1 : Chargement BL2 AVIS : localisez FIP dans SD FAT INFO : chargement de l’ID d’image = 1 à l’adresse 0x10020000 INFO : ID d’image = 1 chargé : 0x10020000 – 0x1003e32c AVIS : BL1 : Démarrage BL2 INFO : Adresse du point d’entrée = 0x10020000 INFO : SPSR = 0x3c5 AVIS : BL2 : v2.7 (version) : 83702b19-dirty AVIS : BL2 : Construit : 06:35:55, 17 mai 2024 INFO : BL2 : Configuration de la plateforme AVIS : Type de carte BM1684X : 139/54/0x11 AVIS : mode entrelacé 1 AVIS : LPDDR4x (rang : 2 + 2, fréquence : 4000M) init start AVIS : Terminé. AVIS : configuration de l’A53 Lite, réinitialisation de l’adresse 00000000101ffff0 AVIS : version A53 Lite AVIS : initialisation de la SD à 100000000 Hz INFO : BL2 : chargement de l’ID d’image 3 AVIS : Localisez FIP dans SD FAT INFO : Chargement de l’ID d’image = 3 à l’adresse 0x300000000 INFO : ID d’image = 3 chargé : 0x300000000 – 0x300009124 INFO : BL2 : Chargement de l’identifiant de l’image 5 AVIS : Localisez FIP dans SD FAT INFO : Chargement de l’identifiant de l’image = 5 à l’adresse 0x308000000 INFO : ID de l’image = 5 chargé : 0x308000000 – 0x3080bba24 AVIS : BL1 : Entrée de démarrage BL31 INFO : pointe adresse = 0x300000000 INFO : SPSR = 0x3cd AVIS : BL31 : v2.7(release):83702b19-dirty AVIS : BL31 : Construit : 06:35:55, 17 mai 2024 INFO : pilote ARM GICv2 initialisé ERREUR : désactiver le pare-feu sécurisé INFO : BL31 : Initialisation des services d’exécution INFO : BL31 : Préparation de la sortie EL3 vers le monde normal INFO : Adresse du point d’entrée = 0x308000000 INFO : SPSR = 0x3c9 trouvé dtb@139 : bitmain-bm1684x-sm7m-v1.0 Sélection de la configuration ‘bitmain-bm1684x-sm7m -v1.0’ U-Boot 2022.10 83702b19-dirty (17 mai 2024 – 06:35:49 +0000) Sophon BM1684 DRAM : 1 Gio Le décalage de relocalisation est : 37f49000 Déplacement vers 33ff49000, nouveau gd à 33f7ffd60, sp à 33f7fe Noyau 4d0 : 38 appareils, 20 uclasses, devicetree : fit WDT : démarré bm16xxwdt@69 avec maintenance (délai d’expiration de 60 s) MMC : sdhc@50100000 : 0, sdhc@50101000 : 1 Chargement de l’environnement à partir de FAT… … ## Exécution du script à 300040000 lecture fs //gpt.gz 446 octets lus en 8 ms (53,7 KiB/s) Taille non compressée : 17408 = 0x4400 écriture MMC : dev # 0, bloc # 0, compte 34 … 34 blocs écrits : OK lecture fs // boot_emmc-boot.scr 1362 octets lus en 10 ms (132,8 KiB/s) ## Exécution du script à 300040000 fs en lecture //boot.1-of-2.gz 24653775 octets lus en 3073 ms (7,7 MiB/s) Taille non compressée : 102760448 = 0x6200000 écriture MMC : dev # 0, bloc # 8192, nombre 200704 … 200704 blocs écrits : OK fs lecture //boot.2-of-2.gz 30566 octets lus en 14 ms (2,1 MiB/s) Taille non compressée : 31457280 = 0x1E00000 ….

Cela prendra quelques minutes et se terminera par :

</p> <p>Écriture MMC : dev # 0, bloc # 29650944, nombre 200704 … 200704 blocs écrits : OK fs lecture //data.2-of-2.gz 10588 octets lus en 11 ms (939,5 KiB/s) Taille non compressée : 10866688 = 0xA5D000 écriture MMC : dev # 0, bloc # 29851648, nombre 21224 … 21224 blocs écrits : OK Mise à jour eMMC effectuée bm savelog 452 octets écrits en 10 ms (43,9 KiB/s) tout est terminé « statut » de la LED introuvable (erreur =-19) LED ‘erreur’ introuvable (err=-19) LED ‘statut’ introuvable (err=-19) Veuillez retirer le support d’installation, puis redémarrer

Éteignons l’appareil, retirons la carte microSD (le boîtier est chaud, j’ai donc utilisé un crayon pour le faire) et redémarrons-le. Cette fois, je suis arrivé à une invite de connexion :

</p> <p>jaufranc@Raspberryme-LAPTOP-5:~$ bt Aucun port spécifié, utilisant ttyUSB0 (dernier enregistré). Utilisez -l pour lister les ports. Essayer le port ttyUSB0… Connecté à ttyUSB0 à 115 200 bps. Le caractère d’échappement est ‘Ctrl-]’. Utilisez l’échappement suivi de « ? » pour aider. Démarrage en attente jusqu’à la fin du processus de démarrage… Démarrage de l’écran de démarrage Terminate Plymouth…<br /> [ OK ] Terminé Maintenez enfoncé jusqu’à la fin du processus de démarrage.<br /> [ OK ] Terminé Terminer l’écran de démarrage de Plymouth.<br /> [ OK ] Démarrage de Serial Getty sur ttyS0. Démarrage du schéma de console Définir…<br /> [ OK ] Service de nom d’hôte démarré.<br /> [ OK ] Schéma de console terminé.<br /> [ OK ] Démarré Un serveur hautes performances… et un serveur proxy inverse.<br /> [ OK ] Création d’une tranche system-getty.slice.<br /> [ OK ] Getty a démarré sur tty1.<br /> [ OK ] Invites de connexion cibles atteintes. Démarrage du Gestionnaire d’autorisations…<br /> [ OK ] Démarrage du serveur OpenBSD Secure Shell.<br /> [ OK ] Gestionnaire d’autorisations démarré. Connexion à la boîte à air Ubuntu 20.04 LTS ttyS0 : [ OK ] Terminé Redimensionnez les fichiers root… m pour les adapter à l’espace disque disponible.

Et l’Airbox s’affiche également avec une adresse IP :

</p> <p>jaufranc@Raspberryme-LAPTOP-5:~/Downloads$ nmap -sP 192.168.31.0/24 Démarrage de Nmap 7.80 ( https://nmap.org ) le 31/05/2024 14:13 +07 … Rapport d’analyse Nmap pour Airbox (192.168.31.71) L’hôte est opérationnel (latence de 0,00069 s). … Nmap terminé : 256 adresses IP (9 hôtes en place) analysées en 2,33 secondes

Mais aucun port 81 n’est ouvert car nous avons installé Ubuntu 20.04 et non CasaOS (comme annoncé dans la documentation) :

</p> <p>jaufranc@Raspberryme-LAPTOP-5:~/Downloads$ nmap -F 192.168.31.71 Démarrage de Nmap 7.80 ( https://nmap.org ) au 31/05/2024 14:16 +07 Rapport d’analyse Nmap pour Airbox (192.168.31.71 ) L’hôte est opérationnel (latence de 0,0011 s). Non affiché : 97 ports fermés PORT STATE SERVICE 22/tcp ouvert ssh 80/tcp ouvert http 8888/tcp ouvert sun-answerbook Nmap terminé : 1 adresse IP (1 hôte actif) analysée en 0,03 seconde

Nous pouvons utiliser la ligne de commande via la console série ou le nom d’utilisateur linaro et le mot de passe linaro de l’utilisateur SSH, et exécuter quelques commandes :

</p> <p>Mot de passe de linaro@192.168.31.71 : Bienvenue sur Ubuntu 20.04 LTS (GNU/Linux 5.4.217-bm1684-g18c6a7c915a2-dirty aarch64) * Documentation : https://help.ubuntu.com * Gestion : https://landscape. canonical.com * Support : https://ubuntu.com/advantage * Kubernetes strictement confiné sécurise la périphérie et l’IoT. Découvrez comment MicroK8s vient de relever la barre en matière de déploiement de cluster K8 facile, résilient et sécurisé. https://ubuntu.com/engage/secure-kubernetes-at-the-edge overlay / overlay rw,relatime,lowerdir=/media/root-ro,upperdir=/media/root-rw/overlay,workdir=/media /root-rw/overlay-workdir 0 0 /dev/mmcblk0p5 /media/root-rw ext4 rw,relatime 0 0 /dev/mmcblk0p4 /media/root-ro ext4 ro,relatime 0 0 Dernière connexion : vendredi 31 mai 15 : 14h48 2024 linaro@Airbox:~$ cat /etc/issue Ubuntu 20.04 LTS \n \l linaro@Airbox:~$ uname -a Linux Airbox 5.4.217-bm1684-g18c6a7c915a2-dirty #4 SMP jeu. 16 mai 09 : 59:04 UTC 2024 aarch64 aarch64 aarch64 GNU/Linux linaro@Airbox :~$ sudo inxi -Fc0 Système : Hôte : Airbox Noyau : 5.4.217-bm1684-g18c6a7c915a2-dirty aarch64 bits : 64 Console : tty 0 Distribution : Ubuntu 20.04 LTS (Focal Fossa) Machine : Type : ARM Système de périphérique : Radxa AICore BM1684x Détails de la carte IO : N/A CPU : Topologie : 8 cœurs (2 puces) modèle : bm1684x variante : cortex-a53 bits : 64 type : MCP MCM Vitesse : 2300 MHz min/max : 1150/2300 MHz Vitesses de base (MHz) : 1 : 2300 2 : 2300 3 : 2300 4 : 2300 5 : 2300 6 : 2300 7 : 2300 8 : 2300 Graphiques : Message : Aucune donnée de périphérique trouvée. Affichage : serveur : aucune donnée du serveur d’affichage trouvée. Une machine sans tête ? tty : 95×33 Message : Données graphiques avancées indisponibles dans la console pour root. Audio : Périphérique-1 : Type Realtek : Pilote USB : hid-generic,snd-usb-audio,usbhid Serveur audio : ALSA v : k5.4.217-bm1684-g18c6a7c915a2-dirty Réseau : Périphérique-1 : pilote Ethernet : bm_dwmac Périphérique- 2 : pilote Ethernet : bm_dwmac IF-ID-1 : état docker0 : mac en panne : 02:42:cc:48:f3:4a IF-ID-2 : état factice0 : mac en panne : 5a:73:15:58:ea :4e IF-ID-3 : état eth0 : vitesse élevée : 1 000 Mbps duplex : mac complet : 00:e0:4c:05:7b:70 IF-ID-4 : état eth1 : down mac : 00:e0:4c : 05:7b:71 IF-ID-5 : état sit0 : down mac : 00:00:00:00 Lecteurs : stockage local : total : 58,24 Gio utilisés : 3,02 Gio (5,2 %) ID-1 : modèle /dev/mmcblk0 : CUTB42 taille : 58,24 Gio Partition : ID-1 : / taille : 5,82 Gio utilisés : 170,2 Mio (2,9%) fs : source de superposition : ERR-102 ID-2 : /taille de démarrage : 127,7 Mio utilisés : 62,2 Mio (48,7 % ) fs : vfat dev : /dev/mmcblk0p1 ID-3 : /opt taille : 1,90 Gio utilisé : 166,8 Mo (8,6 %) fs : ext4 dev : /dev/mmcblk0p6 Capteurs : Message : Aucune donnée de capteur n’a été trouvée. Les capteurs sont-ils configurés ? Info : Processus : 188 Temps de disponibilité : 5 m Mémoire : 3,83 Gio utilisés : 377,3 Mio (9,6 %) Init : niveau d’exécution systemd : 5 Shell : bash inxi : 3.0.38

Cette fois, je m’arrêterai pour le moment et je dois déterminer quoi faire ensuite et apprendre à utiliser le système.

Dans la deuxième partie de l’test, je prévois d’installer le système d’exploitation et d’exécuter des modèles de langage étendus (LLM) et des modèles de vision large (LVM) sur le système. Je tiens à remercier Radxa d’avoir envoyé la Fogwise Airbox pour test. Il est maintenant disponible sur Allnet et Arace pour 321 $ plus frais d’expédition, et il semble que les personnes qui commandent maintenant sur Arace pourront recevoir un coffret cadeau comprenant un adaptateur secteur 20 V/3 A, un microphone USB et un module WiFi 6.

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :