NUSAPOD mengubah server GPU menjadi kapasitas AI yang bisa dialokasikan ke banyak unit kerja — lengkap dengan endpoint, kontrol siklus hidup, dan pengawasannya.
Konteks
Setiap instansi kini menghadapi permintaan yang sama dari berbagai unit. Hanya ada dua jalur yang lazim ditempuh, dan keduanya menyisakan persoalan.
Yang belum tersedia bukan perangkatnya. GPU dapat dibeli. Yang belum ada adalah lapisan yang mengubah GPU menjadi kapasitas yang dapat dibagi, dijamin, dan diawasi.
Pola yang terulang
Pusat data pernah melewati persoalan yang sama persis. Hanya sumber dayanya yang berbeda.
| Sumber daya | Sebelum | Sesudah |
|---|---|---|
| Server era 2000-an |
Satu aplikasi menempati satu server fisik. Utilisasi tertahan di kisaran belasan persen, dan setiap layanan baru berarti pengadaan perangkat baru. | Virtualisasi — kapasitas menjadi pool bersama, provisioning turun ke hitungan menit, utilisasi naik berlipat. |
| GPU hari ini |
Satu model menempati satu GPU. Sisa VRAM terkunci, dan setiap kebutuhan baru kembali ke siklus pengadaan. | NUSAPOD — VRAM menjadi pool bersama, dialokasikan per GB, layanan aktif dalam hitungan menit. |
Instansi tidak kekurangan GPU. Yang belum ada adalah lapisan yang mengubahnya menjadi kapasitas AI yang dapat dibagi ke banyak unit kerja — persis peran yang dimainkan virtualisasi pada era server.
Definisi
NUSAPOD berjalan di atas server GPU yang telah dimiliki instansi. Operator meminta kapasitas dalam GB — bukan dalam jumlah GPU — lalu men-deploy model di atasnya.
Satu dashboard untuk model directory, alokasi VRAM per GPU, pod yang sedang berjalan, dan monitoring — tanpa database terpisah, seluruh state berada di cluster.
Kemampuan inti
Kapasitas diminta dalam satuan GB. Setiap pod memperoleh hard limit VRAM: apabila workload meminta melebihi jatahnya, alokasi ditolak di level driver — tanpa berdampak pada pod lain di GPU yang sama.
VRAM dipartisi, compute di-share. VRAM bersifat hard limit per pod dan tidak dapat dilampaui. Compute (SM) digunakan bergantian, sehingga pod yang sedang tidak aktif tidak mengunci kapasitas yang tidak digunakannya.
Pembeda teknis
Pertanyaan yang selalu muncul dari tim teknis. Jawabannya bukan salah satu di antaranya: VRAM dipartisi keras, compute dibagi waktu. Kombinasi inilah yang membedakan NUSAPOD dari GPU sharing pada umumnya.
| Pendekatan | VRAM | Compute | Granularitas |
|---|---|---|---|
| Time-slicing biasa | Dibagi tanpa limit — pemakaian berlebih satu workload menjatuhkan workload lain di GPU yang sama | Bergantian | Sebatas jumlah replica |
| MIG (partisi hardware) | Partisi keras — terisolasi di level hardware | Terpartisi, kaku | Profil tetap, GPU tertentu saja |
| NUSAPOD | Hard limit per pod — di-enforce saat alokasi memori | Bergantian secara default, dan bisa dibatasi per pod bila diperlukan | Bebas, per GB |
Dua sumbu, dua kebijakan. VRAM selalu dibatasi ketat, karena melebihi batas VRAM berarti proses gagal. Compute dibiarkan mengalir secara default agar pod yang sedang tidak aktif tidak menahan kapasitas yang tidak digunakannya — dan apabila sebuah lembaga memerlukan jaminan porsi compute, batas per pod dapat diaktifkan.
Dampak ekonomi
Tanpa NUSAPOD setiap request mengunci GPU secara utuh — sisa VRAM menjadi fragmented dan terbuang. Dengan NUSAPOD workload berbagi GPU sesuai kebutuhan VRAM masing-masing, dan GPU yang tersisa tetap tersedia untuk unit berikutnya.
Multi-organisasi
Dua topologi deployment, dipilih sesuai tingkat pemisahan yang diminta tata kelola Anda.
Satu control plane melayani beberapa lembaga di atas hardware yang sama — utilisasi tertinggi, pengadaan terpusat.
Setiap lembaga menjalankan control plane sendiri di atas node GPU miliknya — pemisahan administratif penuh, tanpa berbagi console.
Skenario penerapan
Ilustrasi satu server dengan dua GPU H100 80 GB: setiap unit kerja memperoleh VRAM sebesar kebutuhannya, dan kapasitas yang belum terpakai tetap tersedia.
Unit berikutnya tidak perlu menunggu pengadaan. Sisa kapasitas langsung dapat di-provision dari dashboard, lengkap dengan endpoint dan API key tersendiri.
Alur end-to-end
Empat langkah, seluruhnya dari dashboard. Tidak ada YAML yang perlu ditulis manual.
Dashboard menghasilkan satu perintah install. Jalankan pada server GPU; node bergabung ke cluster, GPU ter-register otomatis.
± 5 menitPull dari model repository, object storage, atau folder pada server. Progress download ditampilkan real-time.
tergantung ukuranPilih model, set VRAM dan context length. Sistem menghitung kebutuhan dan menolak konfigurasi yang tidak muat.
± 30 detikEndpoint OpenAI-compatible otomatis aktif, lengkap dengan API key ber-scope untuk lembaga penggunanya.
langsungOperasi harian
Seluruh aksi tersedia pada halaman deployment, dengan konfirmasi untuk aksi destruktif dan audit log untuk setiap perubahan.
Kebutuhan VRAM dihitung dari arsitektur model dan context length yang dipilih — termasuk KV cache, penyebab utama OOM ketika context ditetapkan besar.
Integrasi
Tidak diperlukan SDK khusus. Cukup ubah base URL dan API key — aplikasi yang telah ada langsung berjalan di atas model internal.
# Endpoint per deployment, otomatis aktif saat pod running curl https://ai.instansi.go.id/m/dep-9b67e5b7/v1/chat/completions \ -H "Authorization: Bearer np_live_..." \ -H "Content-Type: application/json" \ -d '{ "model": "gemma4-12b", "messages": [ {"role":"user","content":"Ringkas notulen rapat ini."} ] }'
Monitoring
Compute dan memory usage, tren historis, plus power draw dan suhu.
Dashboard menandai pod yang over-provisioned, agar kapasitasnya dapat dikembalikan ke pool.
Request in-flight versus waiting — indikator paling awal sebuah deployment sudah saturasi.
Node down, pod gagal start, antrean menumpuk, kapasitas menipis.
Setiap aksi operator tercatat: pelaku, objek, dan waktu.
Metrik sebuah deployment tidak hilang ketika pod di-restart atau di-resize.
Kedaulatan & deployment
Model, weights, prompt, dan hasil inferensi seluruhnya berada pada hardware milik instansi. Tidak ada dependensi terhadap provider AI eksternal ketika melayani request.
Scale horizontal: node baru bergabung ke fleet yang sama, dan kapasitasnya langsung dapat di-provision dari dashboard.
Kesimpulan
Satu GPU melayani beberapa unit kerja sekaligus, dengan VRAM limit yang di-enforce per pod.
Layanan AI baru dapat diaktifkan tanpa menunggu siklus pengadaan hardware.
Lifecycle, telemetri, alert, dan audit — seluruhnya dari satu dashboard.
Model, prompt, dan hasil inferensi tidak pernah keluar dari jaringan instansi.
VRAM slicing·Multi-GPU placement·Model directory·Endpoint OpenAI-compatible·API key ber-scope·Telemetri & alert·RBAC·Audit log
Buka demo →