Les modèles LLM (Large Language Models) peuvent s’exécuter localement sur des mini PC ou des ordinateurs monocarte comme le Raspberry Pi 5, mais avec des performances limitées en raison de l’utilisation élevée de la mémoire et des exigences de bande passante. C’est pourquoi Picovoice a développé le SDK multiplateforme picoLLM Inference Engine optimisé pour exécuter de grands modèles de langage compressés sur des systèmes exécutant Linux (x86_64), macOS (arm64, x86_64) et Windows (x86_64), Raspberry Pi OS sur Pi 5 et 4, Systèmes d’exploitation mobiles Android et iOS, ainsi que navigateurs Web tels que Chrome, Safari, Edge et Firefox.
Alireza Kenarsari, PDG de Picovoice, a déclaré à Raspberryme Software que « picoLLM est un effort conjoint des chercheurs en apprentissage profond de Picovoice qui ont développé l’algorithme de quantification X-bit et des ingénieurs qui ont construit le moteur d’inférence LLM multiplateforme pour amener n’importe quel LLM sur n’importe quel appareil et reprendre le contrôle. aux entreprises ».
La société affirme que picoLLM offre une meilleure précision que GPTQ lors de l’utilisation de Llama-3.8B MMLU (Massive Multitask Language Understanding) comme métrique, comme le montre le diagramme ci-dessous, le gain le plus important étant obtenu lors de l’utilisation de paramètres 2 bits. Le résultat INT 4 bits a le même score MMLU que le résultat float 16 bits.
Vous trouverez des démos, le SDK et des démos pour divers langages et plates-formes de programmation sur GitHub. La solution est entièrement gratuite pour les modèles open-weight mais nécessite une clé d’accès qui est vérifiée en se connectant à un serveur. Après la vérification de la clé d’accès, tout le traitement LLM est effectué hors ligne et sur l’appareil.
Nous écrivons sur Picovoice depuis 2020, car ils offrent une détection d’activité vocale (VAD) facile à utiliser (Cobra), un mot d’activation personnalisé (Porcupine), une synthèse vocale (Léopard et Cheetah) et une reconnaissance vocale (Rhino ) des solutions assez simples à utiliser et fonctionnant sur du matériel bas de gamme tel que Raspberry Pi et Arduino. La société a maintenant combiné plusieurs de ces solutions logicielles avec l’implémentation picoLLM pour créer un assistant vocal basé sur LLM écrit en Python et montré pour fonctionner sur le Raspberry Pi 5 dans la vidéo intégrée ci-dessous.
Les solutions Picovoice sont généralement gratuites pour les projets de loisirs avec certaines limitations, et vous devriez pouvoir reproduire la démo ci-dessus sur un Raspberry Pi 5 en suivant les instructions sur GitHub.
Retrouvez l’histoire de Raspberry Pi dans cette vidéo :
-
ISMM11 QSM11 Moteur Rotation Speed Capteur Usure Fracture Alliage Acier Construction pour Un Fonctionnement Stable -
Moteur CC 775 avec rotation avant et arrière, double roulement à billes pour un fonctionnement stable et une dissipation de la chaleur dans divers outils et machines électriques (6000 tr/min)