Kontrol Asisten Rumah dengan Suara Anda: Integrasikan RIVA, Llama2 ke Hub Rumah Pintar yang Didukung oleh NVIDIA Jetson

Home Assistant telah mencanangkan tahun 2023 sebagai "tahun suara", dengan menetapkan visi yang berani untuk memberdayakan pengguna agar dapat berinteraksi dengan Home Assistant dan peralatan mereka menggunakan bahasa alami mereka. Inisiatif ini bertujuan untuk melampaui metode tradisional manajemen rumah pintar—melampaui sekadar penggunaan perangkat terminal atau perintah suara sederhana. Tantangan utamanya terletak pada perancangan sistem yang dapat mengetahui maksud pengguna melalui permintaan bahasa suara untuk mencapai otomatisasi rumah pintar yang sesungguhnya.

Gunakan Home Assistant untuk membangun rumah pintar, gunakan LLM untuk membuat rumah lebih pintar

Mengikuti visi "mengendalikan rumah pintar menggunakan bahasa kami sendiri", kami membangun sistem ini, yang disebut Local Jarvis, yang mengintegrasikan tinyML dan LLM (model bahasa besar) ke dalam Home Assistant sebagai opsi kendali suara. Local Jarvis muncul sebagai jawaban atas keinginan yang semakin meningkat akan manajemen rumah pintar yang lebih cerdas dan lebih privat.

Dengan Integrasi MQTT Asisten Rumah, Asisten Rumah dapat terhubung ke AWS IoT Core dan broker MQTT Greengrass lokal. Ini berarti ia dapat bekerja dengan cloud, komponen Greengrass lokal lainnya, dan perangkat pada jaringan yang sama. Jadi, Asisten Rumah dapat menggunakan Greengrass AWS , yang khusus, dan yang dibuat oleh komunitas, beserta layanan AWS, untuk membuat otomatisasi rumah menjadi lebih baik dan melakukan lebih banyak hal.

Menggabungkan Home Assistant dengan LLM memungkinkan pemrosesan bahasa alami yang canggih tanpa perlu bergantung pada cloud. Pendekatan ini memastikan privasi dan mengurangi latensi dalam pemrosesan perintah. Memanfaatkan model bahasa tingkat lanjut memungkinkan sistem untuk belajar dari interaksi pengguna, menjadikan otomatisasi rumah pintar tidak hanya responsif tetapi juga antisipatif.

Arsitektur penggabungan tinyML dan LLM dirancang dengan mempertimbangkan kesederhanaan dan skalabilitas. Dimulai dengan perekaman suara melalui ReSpeaker , hingga pemrosesan dengan Riva NVIDIA dan Jetson AGX Orin , dan akhirnya mengeksekusi perintah melalui Home Assistant Green Gateway, setiap komponen memainkan peran penting dalam mengubah masukan suara menjadi tindakan cerdas. Alur kerja yang efisien ini tidak hanya memastikan privasi dan efisiensi, tetapi juga membuka kemungkinan baru bagi pengembang untuk menyesuaikan dan memperluas solusi rumah pintar mereka. Sistem ini dibangun dengan:

1. Menangkap suara melalui ReSpeaker, lalu mengubah ucapan menjadi teks menggunakan Riva.

2. Memanfaatkan NVIDIA Jetson AGX Orin untuk menjalankan LLAMA2 , menganalisis teks untuk memahami perintah pengguna dan menghasilkan respons yang sesuai.

Lihat repo GitHub kami untuk proyek Local Voice Chatbot

3. Menjalankan perintah: Melalui Home Assistant Green Gateway, terjemahkan respons model menjadi tindakan, dan kendalikan perangkat pintar sebagaimana mestinya.
4. Menggunakan antarmuka Home Assistant untuk umpan balik dan kendali secara real-time, yang meningkatkan interaksi pengguna dengan lingkungan pintar.

Lihat repo GitHub kami untuk proyek Jarvis Lokal .

Pada intinya, “Local Jarvis” merupakan respons terhadap permintaan yang terus meningkat akan solusi otomatisasi rumah yang lebih intuitif dan aman. Dengan memanfaatkan kekuatan LLM lokal, proyek ini mengatasi masalah privasi yang terkait dengan pemrosesan berbasis cloud, menawarkan lingkungan yang aman di mana data pengguna tidak pernah meninggalkan rumah. Integrasi dengan Home Assistant memperkuat efek ini, menyediakan antarmuka yang mulus untuk perintah suara guna mengendalikan perangkat pintar, menjadikan interaksi tidak hanya lebih cerdas tetapi juga lebih alami.

Biarkan model bahasa yang besar memahami apa yang ingin Anda sampaikan ke rumah pintar Anda.

Anda dapat meminta "Nabu," "Jarvis," "Mirror," atau nama apa pun yang Anda pilih untuk mematikan lampu, menyesuaikan termostat, atau menjalankan otomatisasi. Selain perintah tunggal, Anda dapat memberi instruksi kepada Jarvis dengan tugas-tugas seperti, "ketika tukang pos tiba, tinggalkan pesan dan konfirmasikan penerimaan paket." Selain itu, seiring dengan pembelajaran hub pintar dari perilaku Anda dari waktu ke waktu, hub pintar tersebut akan secara otomatis beradaptasi dengan gaya hidup Anda, menjadi semakin cerdas.

Rumah pintar yang sesungguhnya mampu memprediksi kebutuhan Anda dan menjalankan tugas dengan lancar tanpa perlu input manual. Inti dari menciptakan lingkungan pintar seperti itu terletak pada otomatisasi. Tanpa otomatisasi, rumah pintar hanya menjadi sekumpulan perangkat yang dapat dikontrol dari jarak jauh. Dengan memanfaatkan LLM, “Local Jarvis” dapat mengurai perintah yang rumit dan terlibat dalam interaksi yang sadar konteks, menawarkan tingkat personalisasi yang sebelumnya tidak terlihat dalam otomatisasi rumah. Kemampuan untuk beradaptasi dan belajar dari kebiasaan dan preferensi pengguna ini menandakan peralihan dari rumah pintar reaktif menjadi proaktif, di mana sistem tidak hanya menanggapi perintah tetapi juga mengantisipasi kebutuhan.