Deepseek R1 Model a été publié il y a quelques semaines et Brian Roemmele a prétendu l’exécuter localement sur un Raspberry Pi à 200 jetons par seconde promettant de libérer une image de Raspberry Pi PI « dès que tous les tests sont terminés ». Il explique en outre que Raspberry Pi 5 avait quelques chapeaux, dont un accélérateur HAILO AI, mais il s’agit de toutes les informations que nous avons jusqu’à présent, et je suppose qu’il a utilisé le modèle distillé avec 1,5 milliard de paramètres.
Jeff Geerling a fait ses propres tests avec Deepseek-R1 (QWEN 14B), mais ce n’était que sur le CPU à 1,4 jeton / s, et il a ensuite installé une carte graphique AMD W7700 pour de meilleures performances. D’autres personnes ont fabriqué des modèles Tinyzero basés sur DeepseEkr1 optimisés pour Raspberry Pi, mais cela est spécifique au compte à rebours et aux tâches de multiplication et fonctionne toujours uniquement sur le CPU. J’étais donc heureux de voir enfin les instructions de libération de RADXA pour exécuter Deepseek R1 (QWEN2 1.5b) sur un NPU, plus exactement l’accélérateur NPU 6 Tops du SoC RockChip RK3588, en utilisant le RKLLM Toolkit.
Les instructions complètes expliquent comment compiler le modèle vous-même, mais si vous ne voulez l’essayer que rapidement, RADXA propose un RKLLM pré-compilé de Modelscope avec lequel vous pouvez obtenir:
Il a quatre fichiers:
- configuration.json – fichier de configuration
- librkllmrt.so – bibliothèque rkllm
- LLM_DEMO – Programme de démonstration
- Deepseek-R1-Distill-Qwen-1.5b.rkllm (1,9 Go) – Deepseek R1 Qwen 1.5b compilé avec RKLLM
- Readme.md
Exécutez le test avec:
|
export rkllm_log_level = 1 ./llm_demo Deepseek-R1-Distill-Qwen-1.5b.rkllm 10000 10000 |
Radxa dit que le RK3588 atteint 14,93 jetons par seconde pour le programme mathématique
Résoudre les équations x + y = 12, 2x + 4y = 34, trouver les valeurs de x et y
La démo a été testée sur Radxa Rock 5B. Je ne l’ai pas fait moi-même car je n’ai pas la planche avec moi en ce moment… cela devrait également fonctionner sur d’autres cartes Rockchip RK3588 / RK3588 et même Rockchip RK3576 carré car ils utilisent la même NPU. Banana Pi a également partagé un article sur X avec une vidéo montrant Deepseek R1 (Qwen 1.5b) exécutant la carte Banana Pi BPI-M7 (RK3588).
#Deepseek est parfaitement adapté et fonctionne efficacement sur #Bananapi BPI-M7 (# Siger7) #Rockchip # RK3588 #Sbc https://t.co/tlnxb2kjfn pic.twitter.com/w24zaw3oh5
– Banana Pi Open Source Hardware (@sinovoip) 8 février 2025
Retrouvez l’histoire de Raspberry Pi dans cette vidéo :
