Menyelami Lebih Dalam Jetpack 6 Developer Preview: Gunakan Kernel Anda Sendiri, Tumpukan Komputasi yang Dapat Ditingkatkan, dan Banyak Lagi!

NVIDIA baru-baru ini merilis Jetpack 6 yang sangat dinantikan, sebuah perkembangan menarik yang menandai kemajuan lebih lanjut dalam pengembangan solusi AI di edge. Pada dasarnya, JetPack dapat dianggap sebagai kombinasi dari Jetson Linux (L4T, BSP + driver, dan beberapa paket dasar) dan komponen JetPack (paket CUDA, cuDNN, TensorRT, dll.). Anda dapat memilih untuk menginstal komponen JetPack tertentu atau bahkan menghapus paket-paket terkait antarmuka pengguna Ubuntu untuk mencapai konfigurasi yang lebih minimal.

Mari kita eksplorasi lebih dalam!

Jetpack Roadmap

Jetpack 4 akan merilis versi finalnya, yaitu 4.6.1, pada tahun 2024 dan kemudian mencapai akhir siklus hidupnya. Pelanggan yang menggunakan Jetson Xavier NX sangat disarankan untuk meningkatkan ke Jetpack 5 guna mendapatkan dukungan berkelanjutan. Mulai dari versi berikutnya, Jetpack 5 akan difokuskan pada perbaikan keamanan dan pembaruan kritis. Sementara itu, versi Jetpack 6 mendatang akan memperkenalkan fitur-fitur baru dan pembaruan komputasi, dengan siklus hidup yang sebagian besar berlangsung selama lima tahun.

Jetpack 6 Release

• Jetpack 6 menghadirkan fleksibilitas yang lebih besar dalam pemilihan kernel Linux (Kernel 5.15 ke atas) dan Jetson Linux 36.2 yang dilengkapi dengan Linux Kernel 5.15 serta sistem file root berbasis Ubuntu 22.04.

• Para pengembang kini memiliki kebebasan untuk menggunakan kernel khusus dengan versi 5.0 atau lebih tinggi.

• Rilis ini juga mencakup lebih banyak pilihan distribusi berbasis Linux dari mitra seperti Canonical dan tumpukan komputasi CUDA-X terbaru, yang dapat ditingkatkan secara independen dari Jetpack.

Image from Jetson software roadmap

Highlights

Pratinjau pengembang JetPack 6 memperkenalkan kernel 5.15, CUDA 12.2, dan TensorRT 8.6. Namun, versi ini belum siap untuk produksi dan masih belum memiliki fitur keamanan serta kemampuan OTA. Fitur-fitur tersebut akan dimasukkan dalam versi produksi utama yang dijadwalkan rilis pada Maret 2024. JetPack 6.1 dijadwalkan hadir pada kuartal ketiga 2024, dan sementara itu, versi JetPack 5 akan terus dirilis.

Bring Your Own Kernel

NVIDIA telah berkontribusi pada kernel upstream selama beberapa tahun untuk mendukung distribusi Linux komersial. Untuk menggunakan kernel Anda sendiri, Anda perlu mengidentifikasi daftar awal patch dan membangun satu set modul out-of-tree untuk driver. Selain itu, penting untuk meninjau kernel pada rilis resmi NVIDIA untuk memastikan patch tambahan yang diperlukan.

Linux Distros on Jetson

JetPack 6 sudah mencakup Jetson Linux secara langsung, namun mitra ekosistem Jetson menawarkan berbagai distribusi berbasis Linux untuk Jetson, termasuk:

• Canonical Ubuntu: Ubuntu 22.04 yang ditawarkan oleh Canonical.

• Red Hat: Red Hat Enterprise Linux 9.3 yang ditawarkan oleh Red Hat.

• Windriver: Sistem operasi Linux tertanam komersial dari Windriver.

• RedHawk: Sistem operasi Linux Real-Time dari Concurrent Real-Time untuk aplikasi real-time yang sangat penting.

• Distribusi berbasis Yocto dan layanan yang memanfaatkan meta-Tegra ditawarkan oleh mitra ekosistem seperti Balena, Foundaries.io, dan TimeSys.

• Balena, Foundaries.io & TimeSys.

Upgradable Compute Stack

JetPack 6 memperkenalkan tumpukan komputasi yang dapat ditingkatkan, sebuah kemajuan signifikan dalam pengembangan sistem berbasis Jetson. Secara tradisional, tim sistem mempersiapkan produksi dengan memvalidasi Paket Dukungan Papan (BSP) dan mengaktifkan fitur keamanan serta OTA. Sementara itu, tim aplikasi bekerja pada model dan aplikasi AI menggunakan kit pengembangan, yang sering memerlukan tumpukan AI terbaru, seperti versi TensorRT yang paling baru.

Sebelumnya, untuk mengakses tumpukan AI terbaru, pengguna harus bermigrasi ke versi JetPack terbaru, yang mengikat tumpukan komputasi dengan BSP dan menciptakan ketergantungan. JetPack 6 menyelesaikan masalah ini dengan memisahkan tumpukan komputasi dari BSP. Perubahan ini memungkinkan tim aplikasi untuk memperbarui tumpukan komputasi AI terbaru secara independen, tanpa menunggu pembaruan BSP, sehingga memperlancar pengembangan dan mengurangi ketergantungan.

Migrate Jetpack 6 from JetPack 5

Saat melakukan migrasi, perhatikan perubahan kernel dari 5.10 ke 5.15 dan pembaruan sistem file. Trusted OS tetap tidak berubah, memastikan konsistensi dalam kinerja daya dan pengaturan jam. Driver kamera sekarang dikemas sebagai driver "out-of-tree", dengan perubahan minimal pada multimedia, grafis, dan keamanan.

Untuk kasus produksi, guna mengelola armada perangkat Jetson di lokasi, NVIDIA akan menyediakan alat OTA berbasis gambar, yang memungkinkan Anda untuk beralih antara berbagai versi utama. Kami juga menawarkan berbagai alat manajemen perangkat yang disediakan oleh mitra ekosistem kami, yang dapat diintegrasikan dengan alat ini untuk memberikan fungsionalitas yang sama.

Berdasarkan pengujian kami, berikut beberapa masalah yang mungkin Anda temui saat meng-flash gambar. Pratinjau pengembang JetPack ini masih belum merupakan versi produksi, dan saran dari pengembang untuk mempertahankan BSP untuk perangkat Jetson Seeed sangat penting. Kami menantikan masukan dari Anda.

System Usability and Flashing

Terdapat beberapa masalah kegunaan dan flashing pada Jetpack 6 Developer Preview. Misalnya, kit pengembangan Jetson AGX Orin mungkin tidak dapat melanjutkan dengan benar setelah dijeda, dan perangkat Jetson yang menggunakan driver WiFi rtl8822ce mungkin mengalami kesalahan format paket TLP. Untuk mengatasi hal ini, disarankan untuk me-restart perangkat.

Untuk masalah flashing, disarankan untuk memperbarui paket qemu-user-static pada host Linux yang digunakan untuk instalasi.

Camera

Saat menggunakan kamera IMX219 atau IMX477 dengan perangkat Jetson Orin NX dan Jetson Orin Nano, sangat penting untuk menentukan sensor-id yang benar di elemen gstreamer nvarguscamera.

Untuk stabilitas dan kinerja yang lebih baik, perlu dicatat bahwa JetPack 6.0 adalah rilis pratinjau pengembang dan tidak dimaksudkan untuk produksi. Rilis ini siap untuk memulai pengembangan Anda di Jetson Orin dengan tumpukan perangkat lunak JetPack 6. Rilis ini tidak mencakup fitur keamanan atau fitur OTA. Rilis JetPack 6 kualitas produksi dijadwalkan untuk Maret 2024 dan akan mencakup fitur keamanan dan OTA serta tumpukan berkualitas produksi. Harap baca dengan seksama Catatan Rilis Pratinjau Pengembang JetPack 6.0 untuk masalah yang diketahui dan detail lainnya. Tim dukungan teknis Seeed Studio tersedia untuk memberikan panduan profesional.

Build Gen AI Applications Based on Jetpack 6

Dengan menggabungkan model Transformer dan model bahasa besar, AI generatif melampaui model tradisional yang berbasis jaringan saraf konvolusional dan dapat mendeteksi, menyegmentasi, melacak, dan mencari dengan lebih fleksibel. Berdasarkan pemahaman tentang bahasa manusia, hal ini secara signifikan meningkatkan kemudahan penggunaan untuk meningkatkan model dan menyederhanakan pengembangan, penyebaran, serta pengelolaan AI di edge. Model generatif dan kasus penggunaan kini dapat dialami di Generative AI Lab, yang juga mendukung JetPack 6 dan menyediakan tutorial tentang pembuatan teks, LLaVa, vision transformers, pencarian gambar/video, dan banyak lagi.

Metropolis Microservice: Sekumpulan unik microservices berbasis cloud untuk membangun solusi AI vision.

Metropolis Microservice mengintegrasikan kemampuan AI secara mulus, termasuk AI generatif dan pendekatan multimodal, ke dalam aplikasi Jetson untuk memberikan solusi berbasis AI vision bagi pengguna perusahaan. Solusi ini dapat menangani tugas kompleks seperti pelacakan multi-kamera dan pembelajaran dengan sedikit contoh (few-shot learning), serta meningkatkan efisiensi operasional dan masalah keselamatan yang krusial.

Platform ini menyediakan serangkaian API dan microservices yang kuat untuk pengembang agar dapat dengan cepat mengembangkan aplikasi berbasis visi yang kompleks. Dengan alur kerja end-to-end Metropolis on Jetson, microservices LLM (Large Language Model) dapat dijalankan di cloud atau langsung pada Jetson, memungkinkan interaksi mudah melalui perintah bahasa alami. Pengguna dapat menjalankan model inferensi tanpa sampel (zero-sample) canggih dan memperbaruinya secara dinamis menggunakan perintah.

Selain struktur aplikasi yang telah ditentukan sebelumnya dan konfigurasi microservice, pengembang memiliki fleksibilitas untuk memodifikasi model yang telah dilatih sebelumnya, API, bahkan kode microservice itu sendiri. Alat tanpa kode seperti NVIDIA TAO semakin mempermudah proses, memungkinkan pelatihan ulang model AI dengan mudah. Inilah saatnya memanfaatkan blok bangunan berbasis cloud yang kuat dan dapat disesuaikan ini untuk menciptakan solusi Vision AI Anda berikutnya.

Image from NVIDIA