Le SoC AI Ambarella CV75S apporte des modèles de langage de vision (VLM) et des réseaux de transformateurs de vision aux caméras

Ambarella a élargi son portefeuille de SoC AI et le dernier ajout est la famille CV75S de puces 5 nm. La société affirme que cette famille présente l’option SoC la plus rentable et la plus économe en énergie pour exécuter le dernier traitement d’image basé sur l’IA, comme les modèles de langage de vision (VLM) et les réseaux de transformateurs de vision dans les domaines de la sécurité, de la robotique, des conférences et des caméras de sport.

La famille CV75S est la première de la gamme Ambarella à intégrer le dernier moteur AI CVflow 3.0, ce qui se traduit par des performances 3 fois supérieures à celles de la génération précédente. CVflow 3.0 est une architecture de puce conçue sur la base d’une compréhension approfondie des principaux algorithmes de vision par ordinateur. Il dispose d’un moteur de traitement de vision dédié qu’Ambarella a programmé à l’aide d’une description d’algorithme de haut niveau et fonctionne avec Tensorflow, Caffe et PyTorch. Ce moteur permet au SoC d’effectuer des milliards d’opérations chaque seconde pour une fraction de la consommation d’énergie des principaux GPU et solutions CPU à usage général.

Ces puces disposent également de la dernière génération de processeur de signal d’image de la société, de deux cœurs Arm Cortex-A76 de 1,6 GHz, d’un encodage vidéo 4Kp30 H264/5 et d’une connectivité USB 3.2.

Selon le vice-président du marketing et du développement commercial d’Ambarella, cette nouvelle famille de SoC permettra aux concepteurs de produits grand public d’intégrer les dernières technologies de transformation de vision et les VLM dans la classification d’images sans prise de vue et l’inférence multimodale pour une analyse visuelle en temps réel. Par exemple, la puce CV75S peut exécuter un VLM multimodal tel que CLIP (Contrastive Language-Image Pre-training) dans la caméra pour numériser des images en temps réel et fournir des résultats instantanés sans nécessiter de formation avant l’installation.

Ambarella a présenté la série N1 SoC en janvier de cette année, et ces puces diffèrent du nouvel opus CV75S dans les modèles d’exploitation AI. La société pré-porte et optimise les puces N1 pour exécuter des modèles LLM (IA générative) et LLava pour l’analyse de la vision multimodale, qui sont formés et affinés pour analyser plusieurs flux vidéo (jusqu’à 32 caméras) comme dans les solutions de vidéosurveillance. . D’autre part, le CV75S exécutera des VLM multimodaux pré-entraînés et affinés et des réseaux de transformateurs de vision à l’intérieur des caméras pour identifier des éléments tels que des scènes et des objets à partir du flux de la caméra en temps réel. Ces modèles d’IA sont pratiques pour les applications d’autonomie dans les robots, les drones et les voitures. Le pré-portage des deux puces permet de réduire les délais de mise sur le marché du client.

Comme les autres systèmes d’IA d’Ambarella, le CV75S est pris en charge par la plateforme de développement Cooper, qui fournit un environnement de développement flexible et modulaire comprenant le noyau, la fondation, la vision et l’UX pour accélérer la mise sur le marché.

Le CV75S est actuellement en cours d’échantillonnage et Ambarella prévoit d’introduire cette technologie avancée de traitement d’image basée sur l’IA dans des caméras dans une large gamme de prix pour s’adapter à différentes applications. Je n’ai trouvé aucune page produit pour la famille CV75S de SoC 5 nm au moment de la rédaction, donc la seule information dont je dispose provient du communiqué de presse. Mais ce dont je suis certain, c’est l’efficacité énergétique et les performances des puces 5 nm, qui rendront ces solutions de traitement d’image de pointe réalisables dans une large gamme de caméras à coût et à puissance limitée pour différentes applications.

Merci à TLS pour le conseil

Retrouvez l’histoire de Raspberry Pi dans cette vidéo :