Tutorial baru menunjukkan cara menjalankan model bahasa besar dan model visi-bahasa secara lokal pada mikrokontroler Arduino UNO Q. Marc Pous dari Edge Impulse merinci langkah-langkah menggunakan alat yzma untuk mengaktifkan inferensi AI offline di lingkungan Linux papan tersebut. Pendekatan ini memungkinkan aplikasi yang berfokus pada privasi dalam edge computing.
Arduino UNO Q, yang diperkenalkan dalam beberapa bulan terakhir, telah memicu berbagai pendapat di antara pengguna. Beberapa menghargai peningkatan daya komputasi dan kemampuannya menjalankan Linux, sementara yang lain melihat lingkungan App Lab sebagai membingungkan dan membatasi. Tidak seperti papan Arduino sebelumnya, UNO Q memiliki koprosesor STM32H5, menjadikannya cocok untuk proyek kompleks di luar tugas dasar seperti kedipan LED. nnDalam tutorial yang diterbitkan di Hackster.io, insinyur Edge Impulse Marc Pous mendemonstrasikan menjalankan model bahasa besar berkinerja tinggi (LLM) dan model visi-bahasa (VLM) langsung di UNO Q. Panduan ini memanfaatkan yzma, pembungkus Go untuk llama.cpp yang dikembangkan oleh Ron Evans, dikenal dengan proyek seperti Gobot dan TinyGo. Yzma menyederhanakan integrasi inferensi AI ke dalam aplikasi Go, menghindari ikatan CGo yang kompleks, dan beroperasi dalam sistem Linux berbasis Debian papan tersebut. nnPengguna mengikuti langkah-langkah untuk menginstal Go di UNO Q, mengonfigurasi yzma, dan mengunduh model GGUF yang kompatibel dari Hugging Face. Untuk tugas berbasis teks, Pous menggunakan model SmolLM2-135M-Instruct, yang memiliki sekitar 135 juta parameter. Kuantisasi dan efisiensi llama.cpp memungkinkannya berjalan pada perangkat keras berbasis Arm, mendukung interaksi obrolan sepenuhnya offline. nnTutorial diperluas ke kemampuan multimodal dengan model SmolVLM2-500M-Video-Instruct, yang memiliki sekitar 500 juta parameter. Model ini memproses gambar dan video pendek bersama teks. Dalam satu contoh, UNO Q menganalisis foto spidol di meja dan menghasilkan deskripsi rinci tanpa konektivitas cloud. nnEksekusi AI lokal seperti ini mendukung sistem edge yang sadar privasi, menggabungkan kontrol mikrokontroler dengan AI untuk aplikasi dalam robotika dan rumah pintar. Pengembang dapat menafsirkan gambar, menangani perintah suara, atau memproses data sensor di perangkat, membuka kemungkinan untuk desain inovatif.