Infrastruktur AI yang dimiliki, dibagi, dan dikendalikan sendiri.

NUSAPOD mengubah server GPU menjadi kapasitas AI yang bisa dialokasikan ke banyak unit kerja — lengkap dengan endpoint, kontrol siklus hidup, dan pengawasannya.

Kedaulatan data Utilisasi GPU maksimal Multi-organisasi On-premise / air-gap

Konteks

Kebutuhan AI datang dari seluruh unit kerja. Jalur yang tersedia belum memadai.

Setiap instansi kini menghadapi permintaan yang sama dari berbagai unit. Hanya ada dua jalur yang lazim ditempuh, dan keduanya menyisakan persoalan.

Jalur 1 — Berlangganan AI publik
  • Dokumen dan prompt keluar dari jaringan instansi
  • Biaya berulang dan tumbuh mengikuti volume pemakaian
  • Ketergantungan pada penyedia dan kebijakan di luar kendali
Jalur 2 — Membangun sendiri
  • GPU dapat diadakan, namun satu GPU melayani satu tim, satu model
  • Belum ada cara membagi kapasitas antar unit secara terukur
  • Setiap kebutuhan baru kembali ke siklus pengadaan

Yang belum tersedia bukan perangkatnya. GPU dapat dibeli. Yang belum ada adalah lapisan yang mengubah GPU menjadi kapasitas yang dapat dibagi, dijamin, dan diawasi.

Konteks02

Pola yang terulang

Apa yang virtualisasi lakukan untuk server, NUSAPOD lakukan untuk GPU.

Pusat data pernah melewati persoalan yang sama persis. Hanya sumber dayanya yang berbeda.

Sumber daya Sebelum Sesudah
Server
era 2000-an
Satu aplikasi menempati satu server fisik. Utilisasi tertahan di kisaran belasan persen, dan setiap layanan baru berarti pengadaan perangkat baru. Virtualisasi — kapasitas menjadi pool bersama, provisioning turun ke hitungan menit, utilisasi naik berlipat.
GPU
hari ini
Satu model menempati satu GPU. Sisa VRAM terkunci, dan setiap kebutuhan baru kembali ke siklus pengadaan. NUSAPOD — VRAM menjadi pool bersama, dialokasikan per GB, layanan aktif dalam hitungan menit.

Instansi tidak kekurangan GPU. Yang belum ada adalah lapisan yang mengubahnya menjadi kapasitas AI yang dapat dibagi ke banyak unit kerja — persis peran yang dimainkan virtualisasi pada era server.

Pola yang terulang03

Definisi

Layer orkestrasi antara GPU dan layanan AI Anda.

NUSAPOD berjalan di atas server GPU yang telah dimiliki instansi. Operator meminta kapasitas dalam GB — bukan dalam jumlah GPU — lalu men-deploy model di atasnya.

Arsitektur NUSAPOD: model directory, pool GPU dengan alokasi VRAM, daftar pod yang berjalan, dan dashboard monitoring

Satu dashboard untuk model directory, alokasi VRAM per GPU, pod yang sedang berjalan, dan monitoring — tanpa database terpisah, seluruh state berada di cluster.

Apa itu NUSAPOD04

Kemampuan inti

Satu GPU, dibagi sesuai kebutuhan nyata.

Kapasitas diminta dalam satuan GB. Setiap pod memperoleh hard limit VRAM: apabila workload meminta melebihi jatahnya, alokasi ditolak di level driver — tanpa berdampak pada pod lain di GPU yang sama.

GPU 0 · H100 80 GB · node gpu-jkt-01 70 GB terpakai · 10 GB tersedia
Lembaga A · asisten dokumen 24 GB
Lembaga B · ringkas laporan 16 GB
Lembaga C · klasifikasi 12 GB
Pusat data · penerjemah 18 GB
tersedia 10 GB

VRAM dipartisi, compute di-share. VRAM bersifat hard limit per pod dan tidak dapat dilampaui. Compute (SM) digunakan bergantian, sehingga pod yang sedang tidak aktif tidak mengunci kapasitas yang tidak digunakannya.

VRAM slicing05

Pembeda teknis

Time-slicing atau resource partitioning? Keduanya — di sumbu berbeda.

Pertanyaan yang selalu muncul dari tim teknis. Jawabannya bukan salah satu di antaranya: VRAM dipartisi keras, compute dibagi waktu. Kombinasi inilah yang membedakan NUSAPOD dari GPU sharing pada umumnya.

Pendekatan VRAM Compute Granularitas
Time-slicing biasa Dibagi tanpa limit — pemakaian berlebih satu workload menjatuhkan workload lain di GPU yang sama Bergantian Sebatas jumlah replica
MIG (partisi hardware) Partisi keras — terisolasi di level hardware Terpartisi, kaku Profil tetap, GPU tertentu saja
NUSAPOD Hard limit per pod — di-enforce saat alokasi memori Bergantian secara default, dan bisa dibatasi per pod bila diperlukan Bebas, per GB

Dua sumbu, dua kebijakan. VRAM selalu dibatasi ketat, karena melebihi batas VRAM berarti proses gagal. Compute dibiarkan mengalir secara default agar pod yang sedang tidak aktif tidak menahan kapasitas yang tidak digunakannya — dan apabila sebuah lembaga memerlukan jaminan porsi compute, batas per pod dapat diaktifkan.

Model GPU sharing06

Dampak ekonomi

GPU yang sama, beberapa workload sekaligus.

Perbandingan alokasi GPU tanpa NUSAPOD (GPU utuh terpakai, sisa VRAM fragmented dan terbuang) versus dengan NUSAPOD (GPU dibagi antar workload, dua GPU masih tersedia)

Tanpa NUSAPOD setiap request mengunci GPU secara utuh — sisa VRAM menjadi fragmented dan terbuang. Dengan NUSAPOD workload berbagi GPU sesuai kebutuhan VRAM masing-masing, dan GPU yang tersisa tetap tersedia untuk unit berikutnya.

Utilisasi07

Multi-organisasi

Satu fleet GPU, dipakai banyak lembaga.

Dua topologi deployment, dipilih sesuai tingkat pemisahan yang diminta tata kelola Anda.

Topologi A

Shared fleet

Satu control plane melayani beberapa lembaga di atas hardware yang sama — utilisasi tertinggi, pengadaan terpusat.

  • VRAM limit di-enforce antar workload di GPU yang sama
  • Endpoint terpisah per deployment, setiap lembaga memegang key sendiri
  • API key ber-scope — hanya valid untuk deployment yang ditunjuk
  • RBAC berjenjang: viewer · operator · admin, plus audit log
Topologi B

Dedicated per lembaga

Setiap lembaga menjalankan control plane sendiri di atas node GPU miliknya — pemisahan administratif penuh, tanpa berbagi console.

  • Isolasi penuh: user, API key, audit log, dan fleet terpisah
  • Cocok untuk data berklasifikasi atau jaringan air-gap
  • Pola deployment identik — satu perintah per node
  • Pengadaan dan anggaran berdiri sendiri per lembaga
Multi-organisasi08

Skenario penerapan

Kapasitas dibagi sesuai kebutuhan, sisanya siap dipakai.

Ilustrasi satu server dengan dua GPU H100 80 GB: setiap unit kerja memperoleh VRAM sebesar kebutuhannya, dan kapasitas yang belum terpakai tetap tersedia.

GPU 0 · H100 80 GB76 GB terpakai
Lembaga A · asisten dokumen internal32 GB
Lembaga B · ringkasan & telaah24 GB
Lembaga C · klasifikasi aduan20 GB
sisa4 GB
GPU 1 · H100 80 GB48 GB terpakai · 32 GB tersedia untuk lembaga berikutnya
Pusat data · penerjemah dokumen28 GB
Lembaga A · uji coba model baru20 GB
tersedia32 GB

Unit berikutnya tidak perlu menunggu pengadaan. Sisa kapasitas langsung dapat di-provision dari dashboard, lengkap dengan endpoint dan API key tersendiri.

Skenario09

Alur end-to-end

Dari server kosong ke endpoint aktif.

Empat langkah, seluruhnya dari dashboard. Tidak ada YAML yang perlu ditulis manual.

LANGKAH 1

Sambungkan node

Dashboard menghasilkan satu perintah install. Jalankan pada server GPU; node bergabung ke cluster, GPU ter-register otomatis.

± 5 menit
LANGKAH 2

Import model

Pull dari model repository, object storage, atau folder pada server. Progress download ditampilkan real-time.

tergantung ukuran
LANGKAH 3

Provision pod

Pilih model, set VRAM dan context length. Sistem menghitung kebutuhan dan menolak konfigurasi yang tidak muat.

± 30 detik
LANGKAH 4

Endpoint aktif

Endpoint OpenAI-compatible otomatis aktif, lengkap dengan API key ber-scope untuk lembaga penggunanya.

langsung
Provisioning10

Operasi harian

Kontrol penuh lifecycle pod dan model.

Seluruh aksi tersedia pada halaman deployment, dengan konfirmasi untuk aksi destruktif dan audit log untuk setiap perubahan.

  • Stop & start. VRAM dibebaskan tanpa kehilangan konfigurasi — kapasitas kembali ke pool.
  • Resize. Ubah VRAM, context length, dan max concurrent; konfigurasi yang tidak muat ditolak sebelum pod lama di-terminate.
  • Restart. Model di-load ulang dari cache lokal, tanpa download ulang.
  • Live log. Streaming output runtime langsung dari dashboard, tanpa SSH ke node.
Model directoryGGUF · llama.cpp & vLLM
GPT-OSS · 20B
± 12 GB file · ± 16 GB VRAM
Nemotron · 70B
± 40 GB file · ± 48 GB VRAM
Gemma 4 · 12B
7,3 GB file · ± 10 GB VRAM
Qwen 3.6 · 27B
10,2 GB file · ± 20 GB VRAM

Kebutuhan VRAM dihitung dari arsitektur model dan context length yang dipilih — termasuk KV cache, penyebab utama OOM ketika context ditetapkan besar.

Kontrol model & pod11

Integrasi

Kompatibel dengan SDK OpenAI yang sudah dipakai tim Anda.

Tidak diperlukan SDK khusus. Cukup ubah base URL dan API key — aplikasi yang telah ada langsung berjalan di atas model internal.

# Endpoint per deployment, otomatis aktif saat pod running
curl https://ai.instansi.go.id/m/dep-9b67e5b7/v1/chat/completions \
  -H "Authorization: Bearer np_live_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4-12b",
    "messages": [
      {"role":"user","content":"Ringkas notulen rapat ini."}
    ]
  }'
  • API key ber-scope per lembaga. Satu key hanya valid untuk deployment tertentu; revoke berlaku seketika.
  • Unified router. Satu base URL untuk semua model — pemilihan lewat field model.
  • Rate limit per key. Melindungi shared service dari satu consumer yang berlebihan.
  • Streaming penuh. Token-by-token, sama seperti provider publik.
Endpoint12

Monitoring

Angka yang menjawab pertanyaan operator, bukan sekadar grafik.

Utilisasi

Per GPU, node, dan deployment

Compute dan memory usage, tren historis, plus power draw dan suhu.

Right-sizing

Peak VRAM aktual

Dashboard menandai pod yang over-provisioned, agar kapasitasnya dapat dikembalikan ke pool.

Kapasitas

Request queue

Request in-flight versus waiting — indikator paling awal sebuah deployment sudah saturasi.

Alert

Kondisi yang perlu tindakan

Node down, pod gagal start, antrean menumpuk, kapasitas menipis.

Audit log

Siapa mengubah apa

Setiap aksi operator tercatat: pelaku, objek, dan waktu.

History

Tetap utuh lintas restart

Metrik sebuah deployment tidak hilang ketika pod di-restart atau di-resize.

Observability13

Kedaulatan & deployment

Data tidak pernah keluar dari jaringan Anda.

Model, weights, prompt, dan hasil inferensi seluruhnya berada pada hardware milik instansi. Tidak ada dependensi terhadap provider AI eksternal ketika melayani request.

  • Full on-premise — data center instansi atau ruang server unit kerja.
  • Mendukung air-gap — model di-load dari storage internal.
  • Tanpa database terpisah — state ada di cluster, memudahkan backup dan restore.
  • Hardware standar — NVIDIA data center, tanpa perangkat khusus.
Control plane 1 server — dashboard, API, telemetri, model storage
GPU node 1gpu-jkt-01 — 4 × H100 80 GB
GPU node 2gpu-jkt-02 — 2 × L40S 48 GB
GPU node nscale sesuai kebutuhan — satu perintah per node

Scale horizontal: node baru bergabung ke fleet yang sama, dan kapasitasnya langsung dapat di-provision dari dashboard.

Kedaulatan & deployment14

Kesimpulan

Satu GPU. Banyak layanan. Kendali penuh di tangan instansi.

Utilisasi maksimal

Satu GPU melayani beberapa unit kerja sekaligus, dengan VRAM limit yang di-enforce per pod.

Aktif dalam hitungan menit

Layanan AI baru dapat diaktifkan tanpa menunggu siklus pengadaan hardware.

Kendali penuh

Lifecycle, telemetri, alert, dan audit — seluruhnya dari satu dashboard.

Data tetap di dalam

Model, prompt, dan hasil inferensi tidak pernah keluar dari jaringan instansi.

VRAM slicing·Multi-GPU placement·Model directory·Endpoint OpenAI-compatible·API key ber-scope·Telemetri & alert·RBAC·Audit log

Buka demo
NUSAPOD15 / 15
pindah slide · F layar penuh