Instalasi DeepSeek di reComputer Jetson dengan Mudah

DeepSeek adalah rangkaian model AI mutakhir yang dioptimalkan untuk efisiensi, akurasi, dan pemrosesan real-time. Dengan optimalisasi canggih untuk komputasi edge, DeepSeek memungkinkan inferensi AI yang cepat dan berlatensi rendah langsung di perangkat Jetson, mengurangi ketergantungan pada komputasi cloud sekaligus memaksimalkan kinerja.

Sekilas tentang DeepSeek

kami menyediakan panduan langkah demi langkah untuk menerapkan model DeepSeek pada perangkat reComputer Jetson guna mendukung inferensi AI yang efisien di edge.

Kebutuhan Perangkat

• Perangkat Jetson dengan memori lebih dari 8GB.

• Perangkat Jetson harus sudah ter-flash dengan sistem operasi JetPack 5.1.1 atau versi lebih baru.

Catatan :

Dalam Artikel ini, kita akan menyelesaikan tugas-tugas menggunakan reComputer J4012 - Edge AI Computer dengan NVIDIA® Jetson™ Orin™ NX 16GB, tetapi Anda juga dapat mencoba menggunakan perangkat Jetson lainnya.

Proses Instalasi

• Sambungkan perangkat Jetson ke jaringan, mouse, keyboard, dan monitor.

Catatan :

Anda juga dapat mengakses perangkat Jetson dari jarak jauh melalui SSH melalui jaringan lokal.

# Instalasi Ollama Inference Engine

# Instalasi Ollama Inference Engine

Ollama adalah mesin inferensi ringan dan efisien yang dirancang untuk menjalankan model bahasa besar (LLM) secara lokal dengan pengaturan minimal. Ollama menyederhanakan penerapan model AI dengan menyediakan antarmuka yang mudah digunakan dan runtime yang dioptimalkan untuk berbagai konfigurasi perangkat keras, termasuk perangkat Jetson.

Untuk menginstal Ollama, buka jendela terminal di perangkat Jetson dan jalankan perintah berikut:

curl -fsSL https://ollama.com/install.sh | sh

Script ini akan secara otomatis mengunduh dan mengatur Ollama di sistem Anda, memungkinkan inferensi AI lokal berjalan dengan lancar.

# Demonstrasi Performa

Dalam video demonstrasi, perangkat Jetson beroperasi hanya dengan daya 20W namun tetap mencapai kecepatan inferensi yang mengesankan.

Dalam video demonstrasi, perangkat Jetson beroperasi hanya dengan daya 20W namun tetap mencapai kecepatan inferensi yang mengesankan.