Les gens essaient d’exécuter des LLM sur toutes sortes de matériel bas de gamme avec une utilité souvent limitée, et quand j’ai vu un LLM solaire sur une démonstration de Meshtastic sur X, j’ai d’abord ri. Je n’ai pas vu la raison pour cela et le matériel LORA est généralement très bas de gamme avec un firmware open-source de maillage généralement utilisé pour la messagerie hors réseau et le partage de l’emplacement GPS.
Mais après avoir réfléchi à celle-ci, il pourrait s’avérer utile de recevoir des informations via des appareils mobiles pendant les catastrophes où l’énergie et la connectivité Internet ne peuvent pas être tenues pour acquises. Vérifions d’abord la solution du colonel Panic. Le court post mentionne seulement qu’il s’agit d’un LLM solaire sur Meshtastic à l’aide du matériel M5Stack.
À gauche, nous devons avoir une charge de banque d’alimentation sur USB (via un panneau solaire USB?) Avec deux sorties USB alimentant un contrôleur et une carte à droite.
Le contrôleur principal avec un petit affichage et enceinte est un kit de développement IoT M5Stack (M5Station) propulsé ESP32. Il est connecté à un module IoT WISBLOCK inlassable équipé du module Lorawan RAK3172 (à l’extrême droite) et d’un M5Stack LLM630 Compute Kit basé sur le kit Axera AX630C Edge AI SoC pour gérer le traitement LLM à disposition.
Donc, si vous êtes bloqué sur Mars, vous pouvez demander au LLM de vous aider sur un réseau de meshtastique !!! 🙂
Le colonel Panic a également partagé un repo GitHub (LLMeshTastic) avec certaines informations de base et le croquis Arduino utilisé pour la solution.
Du côté matériel, le port C1 de M5Station est connecté au port UART C sur le kit de calcul LLM630 et le port C2 se connecte aux broches UART série du périphérique de meshtastique basé sur RAK3172. Le débogage LLM et les invites / les réponses sont affichés sur l’écran M5Station. Le périphérique Meshtastic doit être défini sur le mode 115200 BAUD et Text_MSG.
Si nous regardons le code source, nous pouvons voir que la démo exécute «qwen2.5-0.5b-prefill-20e», mais notre article précédent sur le kit de calcul M5Stack LLM630 mentionne Qwen2.5-0.5 / 1.5b et llama3.2 -1b Les modèles de grande langue sont pris en charge. Les performances du modèle 0,5b sont probablement meilleures et il n’utilise pas autant de puissance qui peut être importante sur un système à énergie solaire. Vous auriez juste besoin d’un appareil Meshtastic (LORA vers WiFi) pour connecter votre smartphone à la passerelle LLMeshtastic pour commencer à discuter avec le chatbot tant qu’il est à portée (plusieurs centaines de mètres à une douzaine de kilomètres en fonction des conditions).
Un modèle avec 500 millions de paramètres peut ne pas toujours fournir des informations précises, mais je considère ce projet comme un point de départ. Un LLM de 0,5b avec des informations de premiers soins et de survie peut être généré, ou alternativement, une boîte d’IA plus puissante pourrait être utilisée dans le système à la place. Si ce type de solution gagne en popularité, nous pourrions éventuellement voir des smartphones équipés de capacités LORA intégrées. Cela permettrait une messagerie hors réseau sur des distances plus longues que le Wi-Fi ou le Bluetooth et la connectivité aux boîtes de communication d’urgence décentralisées alimentées par AI.
Retrouvez l’histoire de Raspberry Pi dans cette vidéo :
-
Cygmophing modèle simulé Apprentissage à énergie Solaire modèle réaliste Jouet éducatif -
Système d'énergie renouvelable avec panneaux solaires et éolienne pour l'alimentation hors réseau dans les véhicules récréatifs, les bateaux et les applications marines