id flag
id flag
geometric shape digital wallpaper

Arsitektur Hybrid AI Melalui NVIDIA Nemotron 3.5 Lightning dan NVIDIA NeMo Switchyard

ARTIFICIAL INTELLIGENCE

Diterjemahkan oleh DigiWare Team

11/4/20263 min baca

Perbedaan utama antara NVIDIA Nemotron 3.5 Lightning dan NVIDIA NeMo Switchyard terletak pada fungsi dan peran masing-masing dalam arsitektur kecerdasan buatan (AI) :

  • NVIDIA Nemotron 3.5 Lightning adalah sebuah model AI terbuka (open model) dengan total memori sekitar 31,6 miliar dan 3,6 miliar parameter aktif (menggunakan arsitektur hibrida Mamba-Transformer). Model ini dirancang khusus untuk tugas-tugas spesifik bervolume tinggi yang membutuhkan kecepatan dan efisiensi tinggi, seperti peninjauan kode (code review), penggunaan alat (tool use), dan keamanan. Serta dapat dijalankan hanya menggunakan satu GPU.

  • NVIDIA NeMo Switchyard adalah sebuah lapisan orkestrasi (orchestration layer) atau pustaka pe-rute-an (routing library). Fungsinya adalah mengotomatisasi distribusi lalu lintas dan tugas antar-model AI dalam suatu sistem (System of Models). Switchyard bertindak sebagai "pengatur lalu lintas" yang menentukan model AI mana yang paling cocok untuk menangani tugas tertentu secara efisien.

  1. Gambaran Umum Sistem : Paradigma “Sistem Model”.

NVIDIA NeMo Switchyard adalah lapisan orkestrasi yang memungkinkan terwujudnya arsitektur “Sistem Model” melalui otomatisasi distribusi lalu lintas.

Sebelum membahas lebih jauh, maka penting untuk kita mengetahui perbedaan utama dari NVIDIA Nemotron 3.5 Lightning dan NVIDIA NeMo Switchyard.

Mode Integrasi :

  • Routing Otomatis : Berfungsi sebagai pustaka routing sumber terbuka yang memilih model terbaik yang tersedia untuk setiap langkah alur kerja sistem dari kumpulan yang ditentukan pengguna (kombinasi model tertutup dan terbuka).

  • Memulai Tanpa Konfigurasi : Dilengkapi algoritma routing awal bawaan yang langsung berfungsi tanpa memerlukan data pelatihan, penyempurnaan, atau konfigurasi rumit.

  • Peningkatan Otonom : Model routing menjadi semakin cerdas seiring waktu; data penggunaan dari proses sistem secara otomatis meningkatkan keputusan routing tanpa perlu pelatihan ulang secara manual.

  1. NVIDIA Nemotron 3.5 Lightning.

AI modern memerlukan peralihan dari penerapan model monolitik ke arsitektur “Sistem Model”. Dalam kerangka kerja ini, sistem menjalankan alur kerja yang kompleks yang melibatkan persepsi, perencanaan, tindakan, evaluasi, dan pengulangan. Tidak ada satu pun model dasar yang unggul di semua tahap. Sebaliknya, efisiensi dan akurasi dimaksimalkan dengan mengalihkan tugas-tugas tertentu ke model-model khusus dan hanya menggunakan model-model terdepan untuk penalaran dengan tingkat kompleksitas tinggi.

Manfaat Utama Dalam Sistem Ini :

Arsitektur & Kemampuan Model :

  • Akurasi Lebih Tinggi : Pemanfaatan kemampuan model yang optimal untuk setiap langkah alur kerja tertentu.

  • Efisiensi Lebih Baik : Model yang lebih kecil dan terspesialisasi menangani tugas-tugas bervolume tinggi; model terdepan mengatasi kompleksitas.

  • Latensi Lebih Rendah : Waktu respons yang lebih singkat di seluruh alur kerja multi-langkah berbasis agen.

  • Keamanan & Kedaulatan Data : Aturan pe-rute-an yang dapat dikonfigurasi dapat membatasi akses data sensitif secara ketat (misalnya, informasi pelanggan, angka keuangan, atau kode sumber eksklusif).

  1. NVIDIA NeMo Switchyard.

Berfungsi sebagai mesin inferensi yang efisien dan terdesentralisasi dalam arsitektur ini, yang dirancang untuk menangani tugas-tugas agen dalam volume besar tanpa bergantung pada cloud.

Target Penerapan Hardware :

  • Arsitektur : Mixture-of-Experts (MoE) dengan total 30 miliar parameter dan hanya 3 miliar parameter aktif per token.

  • Lineage : Diolah dari model Nemotron 3 Ultra terdepan milik NVIDIA untuk mempertahankan kemampuan sistem dalam ukuran yang lebih ringkas.

  • Optimasi : Dirancang untuk kerangka kerja agen yang populer; memberikan akurasi terdepan dalam pemrograman, penggunaan alat, mengikuti instruksi, dan alur kerja multi-putaran.

  • Kemampuan Penyesuaian : Sepenuhnya terbuka dan dapat disesuaikan, memungkinkan organisasi untuk melatih ulang model tersebut menggunakan data eksklusif untuk tugas-tugas khusus.

Fungsi Utama :

Tersedia melalui GitHub Early Access dan kompatibel dengan berbagai titik integrasi :

  • Server mandiri

  • Library Python yang ringan

  • Terintegrasi secara native ke dalam sistem (melalui gateway LLM atau ISP).

  1. Logika Alur Kerja Operasional.

Penerapan produksi yang memanfaatkan arsitektur routing ini telah menunjukkan pengurangan biaya dan peningkatan efisiensi yang signifikan :

  • Harvey Legal : Mengurangi biaya inferensi model hingga lebih dari 10 kali lipat dengan memadukan Switchyard bersama model Nemotron yang telah dilatih ulang dan disesuaikan untuk bidang hukum mereka.

  • Applied Compute : Mencapai pengurangan 25% pada biaya model secara keseluruhan sambil mempertahankan akurasi tingkat terdepan pada tolok ukur SWE-bench Verified melalui routing yang cerdas.

  • Sistem Pribadi : Mengelola email, kalender, proyek, dan pemesanan secara lokal di DGX Spark/RTX Spark.

  • Pengembangan Software : Ringkasan PR, klasifikasi kode, dan penyaringan pengujian.

  • Layanan Keuangan : Ekstraksi data dari dokumen, pemeriksaan aturan polis, pemantauan sinyal risiko, dan pembuatan ringkasan.

  • Keamanan Siber : Pengayaan peringatan, klasifikasi insiden, pencarian log, validasi kontrol, dan persiapan temuan.

  • Telekomunikasi & Layanan Kesehatan : Penyaringan peringatan jaringan/menjawab pertanyaan penagihan (Telekomunikasi). Mengotomatiskan penjadwalan/penagihan/komunikasi terstandarisasi (Administrasi Layanan Kesehatan).

  • Pelaksanaan & Umpan Balik : Model yang dipilih memproses permintaan tersebut. Data telemetri kinerja dikirim kembali ke Switchyard untuk menyempurnakan keputusan routing di masa mendatang.

  1. Contoh Penerapan di Industri.

Integrasi Nemotron 3.5 Lightning dan NeMo Switchyard mengikuti alur routing yang digerakkan oleh sinyal :

  • Pengamatan : Sistem menghadapi tugas (misalnya, perencanaan, pemrograman, verifikasi).

  • Evaluasi : NeMo Switchyard mengevaluasi konteks permintaan berdasarkan kekuatan model yang tersedia.

  • Penentuan Routing :

  1. Hasil Kinerja dan Bukti.

Arsitektur hybrid ini ditujukan untuk alur kerja vertikal tertentu di mana sistem yang “selalu aktif” memerlukan proses inferensi yang konsisten dan andal :

  • Pekerjaan Dengan volume Tinggi/Khusus : Dialihkan ke Nemotron 3.5 Lightning lokal demi efisiensi dan privasi (misalnya : klasifikasi rutin, ekstraksi data).

  • Tugas Penalaran yang Kompleks : Dialihkan ke Frontier Models ketika kemampuan khusus telah terlampaui.

Arsitektur ini mengubah adopsi AI dari sekadar “pengadaan cluster GPU” menjadi penerapan sistem perangkat lunak modular dan teroptimalkan yang mampu melakukan optimasi mandiri seiring waktu.

DigiWare

Robotic & Electronic Components Online Store in Indonesia

www.digiwarestore.com

Komplek Ruko RMI Blok i No. 22

031-5039460

© 2024. All rights reserved.

customerservice@digiwarestore.com

Surabaya, Jawa Timur, 60284

Our Social Media

Marketplace

Tokopedia ( Surabaya )

Tokopedia ( Bekasi )

Shopee ( Surabaya )

Our Partners