IA générative sur NVIDIA Jetson Orin, SDK Jetpack 6 pour prendre en charge plusieurs systèmes d’exploitation

NVIDIA a fait plusieurs annonces à la ROSCon 2023 liées à la robotique et à l’embarqué avec des points forts, notamment l’IA générative sur le module NVIDIA Jetson Orin et le SDK Jetpack 6 qui sortira le mois prochain (novembre 2023) avec la prise en charge d’Ubuntu comme d’habitude, mais aussi d’autres systèmes d’exploitation. et des plateformes telles que Debian, Yocto, Wind River, Redhawk RTOS et Balena.

IA générative sur NVIDIA Jetson Orin

Il y a eu beaucoup de battage médiatique l’année dernière autour de l’IA générative grâce à des services tels que ChatGPT, Google Bard ou Microsoft Bing Chat. Mais ceux-ci s’appuient sur des logiciels fermés qui s’exécutent sur de puissants serveurs dans le cloud. Comme nous l’avons noté dans notre article sur la solution LLM hors ligne « AI in a box », il existe certains projets open source tels que le modèle de synthèse vocale Whisper et les modèles de langage Llama2 qui pourraient être exécutés sur du matériel embarqué en périphérie, mais comme noté par certains lecteurs, les plates-formes basées sur Rockchip RK3588S ou le Raspberry Pi 4 manquent souvent de la puissance de traitement et de la capacité de mémoire pour exécuter des modèles d’IA génératifs utiles, bien que certaines cartes RK3588 soient désormais livrées avec 32 Go de RAM.

Mais NVIDIA Jetson AGX Orin est un ordinateur d’IA intégré plus robuste avec jusqu’à douze cœurs Cortex-A78AE, une combinaison d’un GPU puissant avec des accélérateurs d’IA délivrant jusqu’à 275 TOPS et jusqu’à 64 Go de RAM, ce qui le rend adapté à l’IA générative et au remplacement. les anciens CNN (Convolutional Neural Networks), plus rigides.

Le développement d’un modèle CNN prend beaucoup de temps, car vous devez généralement fournir de nombreuses données pour entraîner votre modèle. Il est plus rigide avec des fonctionnalités fixes, car il n’est pas capable d’apprendre par lui-même. L’IA générative ne nécessite pas de formation supplémentaire, ni ce que NVIDIA appelle « l’apprentissage zéro-court », et de tels modèles peuvent apprendre à reconnaître des choses qu’ils n’avaient jamais vues auparavant.

Il permet également une interface linguistique. Ainsi, au lieu d’afficher des boîtes autour des objets détectés, il existe un chatbot qui peut répondre à des questions telles que « Combien de boîtes ont été déballées au cours de la dernière heure ? » ou « Combien de cartons par minute l’ouvrier en gilet orange a-t-il déchargé ? ». L’IA générative est donc une solution beaucoup plus puissante et utile et risque de rendre les modèles CNN obsolètes sur les plates-formes disposant de suffisamment de ressources pour gérer la nouvelle technologie.

NVIDIA évalue ses implémentations d’IA générative sur Jetson Orin et un serveur Intel Xeon Platinum 8480+ (56 cœurs, 112 threads à 3,80 GHz, 350 W TDP) testant des modèles de langage étendus (LLM), des modèles de langage de vision, des transformateurs de vision et une diffusion stable sur les deux. plates-formes, découvrant finalement que NVIDIA Orin offre 1,7 fois les performances du système basé sur Xeon. Je supposais que l’Orin était réglé en mode haute puissance ou 60 W.

Le NVIDIA Jetson Generative AI Lab fournit des outils et des didacticiels pour déployer des LLM open source (par exemple llama2), des modèles de diffusion pour générer de superbes images à partir de texte, des modèles de langage de vision (VLM) et des transformateurs de vision (ViT) qui combinent l’IA de vision et le langage naturel. traitement pour une description interactive de la scène à l’aide d’un chatbot. Alternativement, les développeurs peuvent utiliser le TAO Toolkit pour créer des modèles d’IA pour la périphérie avec un minimum de codage (plate-forme low-code) et optimiser les modèles d’IA de vision, y compris les modèles ViT.

SDK Jetpack6

La version de production NVIDIA Jetpack 5.0.2 a été publiée en novembre dernier avec Ubuntu 20.04 et la prise en charge du nouveau Jetson Orin, et le SDK JetPack 6 devrait sortir le mois prochain avec la prise en charge du système d’exploitation Ubuntu optimisé et certifié de Canonical (quelle version ne nous est pas indiquée). …), et pour la première fois d’autres systèmes d’exploitation qui incluent Wind River Linux, Redhawk Linux de Concurrent Real et diverses distributions basées sur Yocto.

NVIDIA affirme que les développeurs d’IA ne seront pas tenus d’effectuer une mise à niveau complète de Jetson Linux pour changer le SDK JetPack 6, de sorte que la mise à niveau sera plus facile et moins longue. Nous n’avons pas beaucoup d’autres détails pour l’instant, mais le diagramme ci-dessus montre également de nouveaux services système (IoT Edge Stack, Diagnostics, Gestion de flotte…) et une sécurité renforcée avec un démarrage sécurisé, un cryptage de la mémoire, etc. Des détails supplémentaires devraient être disponibles au moment de la publication

De plus amples informations sur l’IA générative et le nouveau SDK JetPack peuvent également être trouvées dans l’article de blog correspondant sur le site Web de NVIDIA. La société a également lancé NVIDIA Isaac ROS 2.0 et NVIDIA Isaac Sim 2023.1 pour les applications robotiques.

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :