Firefly EC-R3576PC FD est un ordinateur embarqué de grande taille basé sur le processeur Rockchip RK3576

Le Firefly EC-R3576PC FD est décrit comme un « ordinateur embarqué de grand modèle » alimenté par un processeur octa-core Rockchip RK3576 Cortex-A72/A53 avec un NPU 6 TOPS et prenant en charge les grands modèles de langage (LLM) tels que Gemma-2B, LlaMa2-7B, ChatGLM3-6B ou Qwen1.5-1.8B.

Il semble être basé sur le SBC ROC-RK3576-PC que nous avons abordé il y a quelques semaines, et également conçu pour LLM. Mais le FD EC-R3576PC est une solution clé en main qui fonctionnera immédiatement et devrait offrir des performances décentes maintenant que la boîte à outils RKLLM a été publiée avec l’accélération NPU. Cependant, notez qu’il y a quelques réserves à faire sur le RK3576 au lieu du RK3588 que nous aborderons ci-dessous.

Spécifications du Firefly EC-R3576PC FD :

• SoC – Rockchip RK3576
  • Processeur
    • 4 cœurs Cortex-A72 à 2,2 GHz, quatre cœurs Cortex-A53 à 1,8 GHz
    • Microcontrôleur Arm Cortex-M0 à 400 MHz
  • GPU – GPU ARM Mali-G52 MC3 cadencé à 1 GHz avec prise en charge d’OpenGL ES 1.1, 2.0 et 3.2, OpenCL jusqu’à 2.0 et accélération 2D intégrée Vulkan 1.1
  • Accélérateur d’IA NPU – 6 TOPS (INT8) avec prise en charge des opérations mixtes INT4/INT8/INT16/BF16/TF32.
  • Unité de puissance virtuelle
    • Décodeur vidéo : H.264, H.265, VP9, ​​AV1 et AVS2 jusqu’à 8K à 30 ips ou 4K à 120 ips.
    • Encodeur vidéo : H.264 et H.265 jusqu’à 4K à 60 ips, encodeur/décodeur (M)JPEG jusqu’à 4K à 60 ips.
• Mémoire système – 4 Go ou 8 Go 32 bits LPDDR4/LPDDR4x
• Stockage
  • Mémoire flash eMMC de 16 Go à 256 Go
  • Stockage UFS 2.0 en option
  • Emplacement pour carte MicroSD
  • Prise M.2 PCIe NVMe/SATA pour SSD M.2 2242
• Sortie vidéo
  • Port HDMI 2.0 jusqu’à 4Kp120
  • DisplayPort 1.4 via USB-C jusqu’à 4Kp120
• Audio
  • Prise audio 3,5 mm (prise en charge du casque et du microphone)
  • Sortie audio numérique via HDMI et USB-C/DisplayPort
• Caméra I/F – 1x MIPI CSI DPHY (30 broches-0,5 mm, 1*4 voies/2*2 voies)
• Mise en réseau
  • Port Gigabit Ethernet RJ45 à profil bas avec Motorcomm YT8531
  • WiFi 5 double bande et Bluetooth 5.0 via AMPAK AP6256 ; connecteur d’antenne SMA
• USB – 1 port USB 3.0, 1 port USB 2.0, 1 port USB 3.0 Type-C avec mode DisplayPort Alt
• Expansion
  • Connecteur GPIO à 40 broches
  • M.2 pour prise PCIe
• Divers – Surveillance externe
• Alimentation – 12 V CC via prise CC 5,5/2,1 mm ; prise en charge d’une entrée de tension large de 12 V à 24 V CC
• Consommation électrique – Typique : 1,2 W (12 V/100 mA) ; max. : 6 W (12 V/500 mA) ; min. : 0,096 W (12 V/8 mA)
• Dimensions – 116 x 105,2 x 31,5 mm
• Poids – 430 grammes
• Plage de température – -20°C à 60°C
• Humidité – 10 % à 90 % HR (sans condensation)

L’ordinateur embarqué Firefly EC-R3576PC FD à grand modèle prend en charge Android 14, Ubuntu et Linux+Qt construits avec Buildroot. Étant donné que le système est principalement destiné à être un ordinateur Edge AI, la société met en avant la prise en charge des modèles de paramètres à grande échelle sous l’architecture Transformer, tels que Gemma-2B, LlaMa2-7B, ChatGLM3-6B, Qwen1.5-1.8B et d’autres. Mais il prend également en charge les architectures de réseaux neuronaux traditionnelles telles que CNN, RNN et LSTM compatibles avec les frameworks d’apprentissage profond qui incluent TensorFlow, PyTorch, MXNet, PaddlePaddle, ONNX et Darknet. Le wiki de l’ordinateur embarqué est actuellement vide, mais celui du SBC ROC-RK3576-PC est livré avec des images Android 14 et Ubuntu 22.04 et divers outils.

Lorsque la bibliothèque RKLLM a été testée sur un SBC Radxa basé sur Rockchip RK3588(S), les performances suivantes ont été obtenues :

• TinyLlama 1,1 milliard – 15,03 jetons/s
• Qwen 1,8B – 14,18 jetons/s
• Phi3 3,8B – 6,46 jetons/s
• ChatGLM3 – 3,67 jetons/s

On pourrait penser que les RK3588 et RK3576 auraient des performances similaires étant donné qu’ils partagent tous deux les mêmes 6 TOPS. Mais on m’a fait remarquer que si le RK3588 prend en charge la mémoire 64 bits, le RK3576 est limité à la mémoire 32 bits et que les modèles LLM dépendent fortement de la bande passante mémoire, les performances pourraient donc être réduites de moitié sur le RK3576. Les LLM plus petits avec des paramètres de 1 à 2 B devraient toujours être utilisables, mais les LLM plus grands devraient être assez lents.

Un cas d’utilisation potentiel pourrait être un robot, un haut-parleur intelligent ou des kiosques interactifs avec reconnaissance vocale et synthèse vocale exploitant un LLM pour l’interaction avec l’utilisateur. Le Firefly EC-R3576PC FD ne sera pas aussi puissant que d’autres boîtiers d’IA intégrés tels que le Radxa Fogwise Airbox, mais il est également assez moins cher, à 185,00 $ en configuration 4 Go/32 Go et 215 $ avec 8 Go de RAM et 64 Go de flash. Vous trouverez plus de détails sur la page du produit. La version RK3588 est disponible sur AliExpress, mais à 300 $ et plus, elle n’est pas compétitive avec le Radxa Fogwise Airbox pour le traitement LLM.

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :