Menggunakan Grafana untuk Analisis Gambar Mikroskopi Bertenaga AI secara Real-time di Edge

Seorang ahli mikroskopi menggunakan platform Theiascope™ saat mengambil gambar dengan mikroskop elektron

Pada bulan Juni, Volkov Labs dan Theia Scientific menerbitkan sebuah artikel blog tentang penggunaan NFS (Network File System) Server sebagai solusi untuk berbagi penyimpanan eksternal antar kontainer Docker di balenaCloud. Aplikasi web Theia didasarkan pada Balena, Grafana, Ray, NGINX, dan PostgreSQL serta terdiri dari beberapa image Docker.

Arsitekturnya secara khusus dibangun dengan:

• Kontainer basis data PostgreSQL dengan SSD NVMe eksternal.

• Server API (Application Programming Interface) REpresentational State Transfer (REST) yang dibangun dengan Python, yang terhubung ke basis data PostgreSQL.

• User Interface (UI) Grafana yang memungkinkan pengguna untuk menganalisis gambar dan mengonfigurasi aplikasi untuk kinerja optimal.

• Reverse proxy NGINX yang menyediakan akses ke REST API dan UI Grafana yang berjalan dalam kontainer terpisah. Diagram arsitektur Balena untuk NFS Server/Client yang menghubungkan beberapa kontainer Docker.

Theia Scientific dan Volkov Labs juga menjadi tuan rumah bersama untuk webinar luar biasa ini di GrafanaCONline 2022. Webinar tersebut mendemonstrasikan penyebaran model machine learning (ML) pada perangkat komputasi edge untuk analisis gambar mikroskopi secara real-time menggunakan Balena untuk manajemen perangkat jarak jauh dan Grafana untuk kontrol dan visualisasi aplikasi.

Secara khusus, platform Theiascope™ yang dibuat oleh Theia Scientific menyediakan teknologi otomatisasi analisis gambar dan data real-time untuk para ilmuwan dan insinyur yang melakukan penelitian menggunakan mikroskopi berbasis optik, elektron, dan X-ray dengan instrumentasi di lingkungan yang dibatasi jaringan dan waktu. Teknologi ini dapat memotong biaya tenaga kerja hingga 80%, mengurangi waktu pelatihan dan keahlian operasional, serta mempercepat penyampaian hasil yang tidak bias dari tahun, bulan, hari, menjadi detik di sektor energi, kesehatan, manufaktur, dan transportasi.

Bekerja dengan Theia Scientific, sungguh luar biasa untuk mengetahui perkembangan terbaru dari Dr. Christopher Field, Co-Founder, Presiden, dan Peneliti Utama di Theia Scientific.

"Kami telah memulai pengembangan dengan Jetson AGX Orin dan Jetpack 5.0.2 untuk pengembangan produk generasi berikutnya, dan kami sangat bersemangat untuk mengeluarkan kekuatan penuh dari perangkat keras dan driver terbaru untuk kinerja dan fleksibilitas yang lebih besar untuk analisis gambar kuantitatif secara real-time di titik akuisisi."

Dapatkan informasi terbaru tentang Jetpack 5.0.2 dari NVIDIA dari blog ini untuk fitur-fitur utamanya.

Platform Theiascope™

Dari perspektif perangkat lunak, selain Jetpack v5.0.2 dan CUDA v11, platform Theiascope™ juga bekerja dengan balenaOS dan balenaCloud untuk manajemen fleet, pembaruan jarak jauh, dan meng-kontainerisasi aplikasi mereka.

Tim Theia Scientific menggunakan kombinasi PyTorch, Ray.io, dan kode Python kustom untuk sisi server, yang dikenal sebagai "backend", dari aplikasi web mereka. Sementara plugin kustom dan sumber data dari komunitas open source dan/atau yang dikembangkan oleh Volkov Labs untuk Grafana digunakan untuk sisi klien, yang dikenal sebagai "frontend", dari komponen perangkat lunak. Volkov Labs telah membagikan banyak dari pengembangan ini dengan komunitas open source dan Grafana dan saat ini memelihara salah satu koleksi plugin terbesar untuk Grafana.

Seluruh software stack di-hosting pada perangkat NVIDIA Jetson, yang berfungsi sebagai server web, dan aplikasi dapat diakses dari komputer mana pun dengan peramban web. Seluruh pipeline dirancang dan dioptimalkan untuk hosting dan menjalankan berbagai model ML dengan akselerasi perangkat keras berbasis GPU (Graphical Processing Unit).

Untuk perangkat keras, mereka menggunakan modul Jetson AGX Xavier dan Jetson Xavier NX yang terpasang pada carrier board Seeed Studio Jetson Mate (tersedia di Amazon) dan dikemas sebagai perangkat keras untuk platform Theiascope™.

Mengapa NVIDIA Jetson?

"Kami awalnya menargetkan keluarga perangkat embedded Jetson untuk platform Theiascope™ karena kami membutuhkan akselerasi perangkat keras dari GPU [Graphical Processing Unit] untuk menjalankan berbagai model ML [Machine Learning] kami pada 30 FPS (Frames per Second) atau lebih tinggi, untuk memungkinkan analisis gambar otomatis dan kuantifikasi real-time pada mikroskop elektron dan optik.

Sebagai bagian dari Litbang [Penelitian dan Pengembangan] produk kami, kami menguji seluruh keluarga perangkat Jetson, dari Nano hingga AGX, untuk kinerja dan menemukan bahwa Xavier NX adalah spesifikasi perangkat keras minimum untuk menjalankan model ML kami pada kecepatan real-time. Kami menyukai AGX karena memori GPU-nya yang lebih besar, yang memungkinkan kami untuk hosting dan menjalankan model ML yang lebih besar.

Jetson Mates dipilih untuk memulai penyelidikan dalam menjalankan beberapa model ML secara bersamaan dan berfungsi sebagai cluster GPU portabel untuk kunjungan ke lokasi dan demonstrasi." — Dr. Christopher Field, Co-Founder, Presiden, dan Peneliti Utama di Theia Scientific

Seeed Jetson Mate, Jetson AGX Orin, Jetson Xavier AGX Dev Kit

Gambar-gambar berikut adalah deployment terbaru yang mencakup Xavier NX (dalam sebuah wadah di bawah network switch), dua AGX, dan dua Jetson Mate (Fully loaded, satu mate telah dipasang dengan 3 modul Jetson Xavier NX dan 1 Nano dan cluster lainnya memiliki 4 NX). Kipas pada Jetson Mate telah diganti dengan warna putih dan menonaktifkan LED kipas pada yang lain. Banyak mikroskop berjalan di ruang gelap, sehingga warna-warna cerah dapat menyebabkan masalah.

Komputasi Edge adalah keharusan untuk mikroskop elektron

Komputasi edge sangat penting bagi Theia Scientific karena mikroskop elektron dan instrumentasi bernilai jutaan dolar biasanya tidak memiliki akses ke sumber daya komputasi berbasis Cloud atau Internet. Cek blog ini untuk mempelajari apa, mengapa, dan bagaimana memulai dengan Edge AI.

Mikroskop umumnya digunakan di lingkungan "yang dibatasi jaringan" dan tidak memiliki GPU khusus untuk komputasi. Oleh karena itu, sangat penting untuk membawa sumber daya komputasi mirip-Cloud ke mikroskop, alih-alih membawa mikroskop ke Cloud.

"Perangkat komputasi edge yang didukung GPU memungkinkan kami untuk menyebarkan model ML dan perangkat lunak kami untuk mikroskop yang dibatasi jaringan tanpa modifikasi perangkat keras mikroskop dan tanpa instalasi perangkat lunak." – Dr. Christopher Field

Tentang Theia Scientific, LLC

Theia Scientific adalah perusahaan teknologi yang menyediakan visi mesin tanpa batas ke instrumentasi mikroskopi dan alur kerja analisis gambar kuantitatif. Tim ini dibangun dengan para ahli dalam arsitektur komputasi edge untuk instrumentasi ilmiah, analitik data, dan pengembangan model AI.

Tentang Volkov Labs

Volkov Labs menyediakan pengembangan plugin kustom open-source dan komersial untuk Grafana. Anda dapat mempelajari lebih lanjut di situs web mereka dan melihat proyek Live mereka.

Tentang Grafana

Grafana adalah alat visualisasi data dan analisis metrik open-source lintas-platform profesional yang dikembangkan oleh Grafana Labs. Grafana memungkinkan pengguna untuk membuat kueri, memvisualisasikan, memberi peringatan, dan memahami metrik dari beberapa sumber data. Tidak peduli di mana data berada atau jenis basis datanya, Grafana dapat dicocokkan dengan sempurna. Cek tutorial ini untuk Membangun dasbor Grafana Anda sendiri dan berinteraksi dengan reTerminal.

Tentang Balena

Balena menyediakan full technology stack untuk membantu pelanggan mengembangkan, menyediakan, menyebarkan, dan mengelola fleet Internet of Things (IoT) dalam skala apa pun. balenaCloud adalah platform Software-as-a-Service (SaaS) yang memungkinkan fitur manajemen aplikasi dan perangkat.

Dengan balenaCloud, seseorang dapat membangun dan menyediakan image aplikasi ke ratusan ribu perangkat, menggunakan berbagai fitur seperti API dan SDK. Selain itu, pelanggan dapat mengelola fleet dalam skala besar menggunakan GUI yang ramah atau mengotomatiskan tugas dengan Command Line Interface.