Le pilote open source NPU du Rockchip RK3588 effectue une détection d’objets à 30 FPS

Tomeu Vizoso a travaillé sur un pilote open source pour NPU (Neural Processing Unit) trouvé dans le SoC Rockchip RK3588 au cours des derniers mois, et le projet a bien progressé avec la détection d’objets fonctionnant correctement à 30 ips en utilisant le modèle SSDLite MobileDet et juste l’un des trois cœurs de l’accélérateur AI.

De nombreux processeurs récents incluent des accélérateurs d’IA qui fonctionnent avec des pilotes open source, mais nous avions déjà vu des travaux de rétro-ingénierie sur le NPU de l’Allwinner V831 il y a quelques années, et plus tôt cette année, nous avons noté que Tomeu Vizoso avait publié le pilote open source Etvaniv. qui fonctionne sur le NPU Vivante d’Amlogic A311D. Tomeu a également commencé à travailler sur le portage de son pilote Teflon TensorFlow Lite sur le NPU Rockchip RK3588 qui est étroitement basé sur l’IP open source NVDLA de NVIDIA.

Il a commencé ses travaux en mars en s’appuyant sur les travaux de rétro-ingénierie déjà réalisés par Pierre-Hugues Husson et Jasbir Matharu et a rapidement pu exécuter les opérations Conv2D et DepthwiseConv2D de TensorFLow Lite. Seulement deux semaines plus tard, le modèle MobileNetv1 pouvait fonctionner sur le SBC Pine64 QuartzPro64 avec le même niveau de performances que le blob (binaire à source fermée).

Le travail était beaucoup plus facile que sur le NPU Verisilicon Vivante car une grande partie du travail de rétro-ingénierie a été effectuée et NVDLA est open source, donc au moins une certaine documentation était disponible, ce qui n’était pas le cas pour le NPU Vivante. Néanmoins, il n’a fallu que quatre semaines (pas à temps plein) pour que la détection d’objet présentée ci-dessous fonctionne sur le NPU du Rockchip RK3588 à 30 FPS.

Vous trouverez le code source du projet Teflon sur le site de Freedesktop, et vous pourrez également connaître l’état du projet sur le blog de Tomeu. Ensuite, Tomeu prévoit d’écrire un pilote de noyau pour la ligne principale Linux dans le sous-système drivers/accel. Il y a encore beaucoup de travail à faire et on ne sait pas combien de temps cela prendra, d’autant plus qu’il travaille sur différents NPU et partagera son temps entre chaque implémentation à moins que des contributeurs supplémentaires ne rejoignent le(s) projet(s).

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :