Poin Penting
- Proyek ESP32-AI berhasil menjalankan Large Language Model (LLM) 28.9 juta parameter pada mikrokontroler ESP32-S3, memungkinkan AI offline yang hemat daya.
- Untuk menjalankan LLM di ESP32 ini, pengguna perlu mengunduh proyek dari GitHub dan mengikuti panduan instalasi yang disediakan secara rinci.
Disclaimer: This was created using Artificial Intelligence (AI)
Jakarta – Mewujudkan kecerdasan buatan (AI) secara lokal kini semakin mudah, bahkan pada perangkat sekecil mikrokontroler. Seseorang berhasil menjalankan Large Language Model (LLM) berukuran 28.9 juta parameter pada ESP32-S3. Begini penjelasan lengkapnya.
Menurut XDA-Developers, sebuah proyek bernama ESP32-AI berhasil menjalankan Large Language Model (LLM) dengan 28.9 juta parameter pada mikrokontroler ESP32-S3. Ini menandai terobosan signifikan dalam membawa kecerdasan buatan ke perangkat keras yang sangat terbatas, membuka potensi besar untuk aplikasi AI yang mandiri, tidak memerlukan koneksi internet, dan hemat daya.
Pencapaian ini sangat mengesankan mengingat keterbatasan ukuran dan kapasitas RAM pada mikrokontroler. Untuk konteks, versi pertama ChatGPT memiliki 117 juta parameter, menjadikan model di ESP32-S3 ini memiliki sekitar seperempat kecerdasan model awal OpenAI tersebut.
Pengembang proyek, slvDev_, menjelaskan bahwa sebagian besar parameter model bahasa adalah tabel embedding besar yang hanya dibaca, bukan dihitung secara intensif. Dengan menyimpan tabel embedding 25 juta baris ini di memori flash yang dipetakan (memory-mapped XIP), hanya inti padat sekitar 560K yang memerlukan memori cepat. Ini memungkinkan LLM beroperasi penuh di chip dengan kecepatan sekitar 9 token per detik. Berikut langkah yang bisa langsung dicoba.
Dikutip dari XDA-Developers, berikut cara untuk menjalankan LLM di ESP32-S3 Anda:
- Kunjungi Halaman GitHub Proyek: Buka browser Anda dan navigasikan ke halaman GitHub proyek ESP32-AI di
https://github.com/slvDev/esp32-ai. Ini adalah sumber utama untuk semua detail dan file yang diperlukan. - Unduh Kode Sumber: Cari opsi untuk mengunduh atau mengkloning repositori proyek tersebut ke komputer Anda. Anda bisa memilih untuk mengunduh file ZIP atau menggunakan perintah
git clonemelalui terminal. - Persiapkan Lingkungan Pengembangan: Pastikan Anda memiliki Arduino IDE atau ESP-IDF yang terinstal dan dikonfigurasi dengan benar untuk pengembangan ESP32. Instal semua dependensi yang diperlukan sesuai petunjuk mendetail yang ada di halaman GitHub.
- Hubungkan ESP32-S3 Anda: Sambungkan mikrokontroler ESP32-S3 ke komputer menggunakan kabel USB yang sesuai. Pastikan driver yang diperlukan sudah terinstal agar komputer dapat mengenali perangkat.
- Kompilasi dan Unggah Kode: Buka proyek ESP32-AI di lingkungan pengembangan Anda, lalu kompilasi kode dan unggah ke perangkat ESP32-S3. Proses ini akan memakan waktu beberapa saat tergantung kecepatan komputer dan ukuran model.
- Uji Coba LLM: Setelah pengunggahan selesai, buka Serial Monitor di lingkungan pengembangan Anda dengan baud rate yang benar. Anda akan melihat output dari LLM yang sedang berjalan, seperti kemampuan untuk menghasilkan cerita atau merespons perintah teks sederhana.
- Eksplorasi Lebih Lanjut: Ikuti panduan di halaman GitHub untuk memahami lebih jauh bagaimana Anda bisa berinteraksi dengan LLM ini. Anda bisa mencoba mengubah prompt atau menguji kemampuannya dalam berbagai skenario aplikasi.
Dengan mengikuti langkah-langkah ini, Anda bisa memiliki agen AI pribadi yang berjalan di perangkat mungil ini. Ini menunjukkan potensi besar komputasi AI di perangkat keras minimal, tanpa ketergantungan pada server cloud.
Kemampuan menjalankan LLM di ESP32-S3 ini sangat relevan bagi para pembuat proyek DIY dan pengembang di Indonesia. Ini membuka pintu untuk inovasi di bidang smart home, robotika, atau sensor cerdas yang beroperasi secara mandiri, menghemat biaya data, dan meningkatkan privasi pengguna di tengah keterbatasan infrastruktur.
Sumber: XDA-Developers (“Someone squeezed a 28.9M LLM onto an ESP32-S3, and so can you“)