Visi Mesin 2D & 3D untuk Analisis Streaming Video Berkecepatan Tinggi dengan Kamera Depth

Hardware Seeed: reServer J2032 dengan NVIDIA Jetson Xavier NX 16GB
Penyedia Kasus Penggunaan: Aivero
Aplikasi: Pengambilan dan Manajemen Data Video Depth serta Persepsi Lingkungan
Industri: Robotika, Logistik, dan Manufaktur
Lokasi Implementasi: Norwegia

Latar Belakang

Menganalisis data visual dari gambar kedalaman (depth images) merupakan tugas yang sangat menantang bagi para profesional pembelajaran mesin (machine learning). Terutama saat berusaha menciptakan solusi yang akurat, stabil, dan otomatis dalam lingkungan 3D. Namun, perkembangan alat dan teknologi terkini menawarkan solusi menjanjikan yang dapat merevolusi cara kita menangkap dan mengelola data visual 2D dan 3D dari kamera depth.

Aivero, perusahaan perangkat lunak yang fokus pada pengolahan dan analisis data kedalaman secara real-time, memperlihatkan bagaimana teknologi visi mesin dapat digunakan untuk menghasilkan solusi yang efisien dalam memproses sejumlah besar video kedalaman yang dibuat pengguna. Selain itu, mereka memberikan tips berguna untuk mulai memanfaatkan kekuatan teknologi AI yang maju.

Tantangan

Perusahaan yang ingin menerapkan visi komputer dan otomatisasi ML menghadapi tantangan besar akibat kompleksitas sistem, keterbatasan bandwidth, dan kebutuhan penyimpanan yang tinggi. Salah satu masalah utama adalah hambatan bandwidth yang terkait dengan kompresi gambar kedalaman 3D, yang kurang diperhatikan di pasar. Fokus pasar selama ini lebih pada kecepatan data video RGB-D dengan resolusi dan frame rate yang semakin tinggi.

Hal ini membuat sulit untuk menangkap bentuk geometris dunia nyata secara akurat, karena metode kompresi tradisional tidak mampu menangani perubahan tajam pada data kedalaman.

Solusi

Aivero menyediakan teknologi kunci untuk mengatasi hambatan antara data visual multi dimensi dengan proses streaming anotasi dan pengenalan pada tahap berikutnya. Platform berbasis cloud ini mendukung manajemen perangkat kamera, pratinjau dan penyimpanan data visual 2D/3D dalam bentuk point cloud. Dengan platform ini, Anda dapat mentransfer video kedalaman terkompresi dengan frame rate tinggi, melakukan pemrosesan dan analisis data melalui reServer 2032, kemudian mengunggah data visual tersebut secara real-time ke framework pelatihan ML dan alat inferensi.

Dampak Bisnis / Hasil

Dibandingkan metode kompresi kedalaman lossless tradisional seperti RVL, PNG, dan LZ4, Aivero menawarkan metode yang lebih unggul yang tidak hanya menjaga kualitas gambar pada tingkat sangat tinggi, tetapi juga lebih efisien secara komputasi. Sistem ini bekerja pada area minat (ROI) yang mendukung hingga 3072 unit kedalaman, setara dengan 3,072 meter dengan resolusi 1 mm per langkah.

Solusi streaming real-time dengan latensi rendah ini menggunakan protokol RTSP, RTP, dan webRTC, memungkinkan penyimpanan video RGB-D terkompresi ke media penyimpanan. Data terkompresi dapat diakses melalui bahasa pemrograman seperti C++, Rust, Python, MATLAB, serta SDK NVIDIA Deepstream, Samsung NNStreamer, GStreamer, dan berbagai alat deep learning populer seperti TensorFlow dan MXNet.

Tertarik dengan Metode Kompresi Lossless?

Jika Anda ingin memahami metode kompresi lossless dan mengukur performa teknologi ini, Anda dapat membaca white paper Aivero yang membahas eksperimen dan perbandingan berbagai teknik kompresi video kedalaman yang paling umum.

Teknologi kompresi video 3D Aivero memberikan akses mudah ke alat anotasi, pelatihan, dan inferensi untuk kombinasi video 2D dan 3D. Tidak peduli berapa banyak jenis kamera depth yang digunakan, atau berapa banyak format data yang dihasilkan dari berbagai SDK kamera, Aivero menyederhanakan proses pembuatan peta kedalaman berwarna dan konversi data ke point cloud. Anda dapat dengan mudah mempratinjau point cloud dari kamera tertentu, menyimpan data, dan mengelola armada kamera melalui platform dan dashboard penangkapan data visual yang dikembangkan Aivero.