NVIDIA Toolkit merupakan aplikasi pendukung yang diberikan oleh nvidia agar komunikasi antara GPU dengan aplikasi bisa berjalan dengan sempura seperti salah satunya service docker. Pada dasarnya docker tidak dapat mengakses hardware nvidia secara langsung, maka diperlukan nvidia toolkit sebagai jembatan komunikasinya.
Pada artikel sebelumnya saya sudah membahas installasi NVIDIA GT 710 di Debian 12 dan artikel ini akan menggunakan studie case GPU yang sama yaitu NVIDIA GT 710. Langsung saja kita bahas.
Bagian 1 : Installasi NVIDIA
Pastikan nvidia driver sudah terpasang pada komputer host yang akan kamu gunakan, kamu bisa membaca artikel saya sebelumnya. Pastikan driver sudah terdeteksi.
sysadmin@llm:~# nvidia-smi
Wed Jul 8 23:46:05 2026
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.256.02 Driver Version: 470.256.02 CUDA Version: 11.4 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 NVIDIA GeForce ... Off | 00000000:01:00.0 N/A | N/A |
| N/A 30C P0 N/A / N/A | 0MiB / 2001MiB | N/A Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+Bagian 2 : Install Repository
Meskipun kamu sudah menginstallkan nvidia, nyatanya repo nvidia toolkit berbeda dengan nvidia driver sehingga kamu perlu menambahkannya kembali. Gunakan perintah berikut :
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listBagian 3 : Installasi nvidia toolkit
Selanjutnya update repo dan install nvidia toolkit.
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkitJika sudah terinstall, lakukan konfigurasi toolkit untuk runtime docker dengan perintah berikut :
sudo nvidia-ctk runtime configure --runtime=dockerRestart docker service agar memastikan perubahan dilakukan pada sistem.
sudo systemctl restart dockerBagian 4 : Testing
Untuk melakukan testing, kamu bisa menjalankan container yang berbasis cuda dari nvidia dan jangan lupa menambahkan parameter gpu pada file docker compose yang kamu setup agar container membaca gpu yang kamu miliki.
backend:
...
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]Setelah container jalan, kamu bisa check gpu dengan menjalankan perintah nvidia-smi seperti biasa, jika muncul maka kamu sudah berhasil.
Penutup
Sekian panduan installasi nvidia toolit untuk kebutuhan docker, silahkan kamu coba dan bila ada yang mau di diskusikan bisa langsung diskusi di kolom komentar. Selamat Mencoba !
