Un nouveau tutoriel montre comment exécuter des modèles de langage large et des modèles vision-langage localement sur le microcontrôleur Arduino UNO Q. Marc Pous d'Edge Impulse a détaillé les étapes utilisant l'outil yzma pour activer l'inférence IA hors ligne dans l'environnement Linux de la carte. Cette approche permet des applications axées sur la confidentialité en edge computing.
L'Arduino UNO Q, introduit ces derniers mois, a suscité des opinions variées parmi les utilisateurs. Certains apprécient sa puissance de calcul accrue et sa capacité à exécuter Linux, tandis que d'autres considèrent l'environnement App Lab comme confus et restrictif. Contrairement aux cartes Arduino précédentes, l'UNO Q intègre un coprocesseur STM32H5, le rendant adapté à des projets complexes au-delà des tâches basiques comme le clignotement d'une LED. nnDans un tutoriel publié sur Hackster.io, l'ingénieur d'Edge Impulse Marc Pous démontre l'exécution de modèles de langage large performants (LLMs) et de modèles vision-langage (VLMs) directement sur l'UNO Q. Le guide exploite yzma, un wrapper Go pour llama.cpp développé par Ron Evans, connu pour des projets comme Gobot et TinyGo. Yzma simplifie l'intégration de l'inférence IA dans des applications Go, évitant les liaisons CGo complexes, et fonctionne dans le système Linux basé sur Debian de la carte. nnLes utilisateurs suivent des étapes pour installer Go sur l'UNO Q, configurer yzma et télécharger des modèles GGUF compatibles depuis Hugging Face. Pour les tâches basées sur le texte, Pous utilise le modèle SmolLM2-135M-Instruct, qui compte environ 135 millions de paramètres. La quantification et l'efficacité de llama.cpp lui permettent de s'exécuter sur le matériel basé sur Arm, supportant des interactions de chat entièrement hors ligne. nnLe tutoriel s'étend aux capacités multimodales avec le modèle SmolVLM2-500M-Video-Instruct, comportant environ 500 millions de paramètres. Ce modèle traite des images et des vidéos courtes en plus du texte. Dans un exemple, l'UNO Q analyse une photo de marqueurs sur un bureau et produit une description détaillée sans connexion cloud. nnUne telle exécution IA locale soutient des systèmes edge soucieux de la confidentialité, combinant le contrôle du microcontrôleur avec l'IA pour des applications en robotique et maisons intelligentes. Les développeurs peuvent interpréter des images, gérer des commandes vocales ou traiter des données de capteurs sur l'appareil, ouvrant des possibilités pour des conceptions innovantes.