Menghitung ROI LLM on premise dengan regresi linear sederhana

Data sensitif bisnis Anda tidak pernah keluar dari mesin sendiri, dan saat rupiah melemah, biaya AI tidak ikut meledak. Itu dua alasan kenapa LLM on premise makin masuk akal.

Tapi kalimat itu belum menjawab apa pun. Pertanyaan yang sebenarnya: kapan modalnya balik? Tulisan ini menjawabnya dengan satu rumus sederhana dan satu contoh hitungan yang angkanya bisa Anda ganti sendiri.

Data yang tidak pernah keluar

LLM on premise itu soal kedaulatan data, atau data sovereignty. Semua data diproses di mesin sendiri dan tidak pernah keluar dari sana. Laporan keuangan, business DNA, dan competitor analysis diolah tanpa risiko bocor ke pihak ketiga. Inilah yang menjaga bisnis Anda tetap unik dan bernilai.

Buat sebagian perusahaan, alasan ini saja sudah cukup. Ada kontrak yang melarang data pelanggan keluar dari wilayah tertentu. Ada regulator yang minta jejak audit di mesin sendiri. Kalau Anda ada di posisi itu, hitungan di bawah cuma menentukan mesin mana yang dibeli, bukan jadi beli atau tidak.

Tagihan yang dipatok dalam dolar

Alasan kedua makin terasa belakangan ini. Harga token dipatok dalam dolar, sementara pemasukan Anda dalam rupiah. Per Juni 2026 kursnya menyentuh Rp17.980 per USD, dan banyak pengamat memperkirakan pelemahan masih berlanjut.

Jadi tagihan cloud naik walau pemakaian tidak berubah sama sekali. Margin tidak hilang sekaligus. Margin terkikis pelan-pelan lewat tagihan bulanan yang terus naik. Tambah lagi, panjang context ikut tumbuh dari bulan ke bulan, jadi jumlah token per percakapan juga ikut naik.

Saya pakai rumus regresi linear sederhana untuk menghitung total biaya.

y = wx + b

y = total biaya sampai bulan ke-x
x = waktu, dihitung dalam bulan
b = modal awal, dibayar sekali di depan
w = biaya per bulan

Untuk on premise, b itu harga mesin dan w itu listrik. Untuk cloud, b sama dengan nol, tapi w berisi tagihan token. Balik modal, atau break even point, kita dapat dengan membagi modal dengan selisih biaya bulanan: biaya cloud dikurangi biaya listrik.

Logikanya jadi gamblang. On premise naik sekali di awal, habis itu garisnya nyaris datar. Cloud mulai dari nol, tapi terus menanjak, dan makin curam saat rupiah melemah. Karena w on premise terkunci dalam rupiah, beli mesin lebih awal sama saja dengan mengunci harga sebelum kurs naik lagi.

Contoh hitungan

Rumus tanpa angka tidak ada gunanya. Jadi kita masukkan angka. Semuanya asumsi, dan semuanya sebaiknya Anda ganti dengan angka sendiri.

Komponen	Nilai	Catatan
Modal `b`	Rp60 juta	satu mesin GPU tunggal, rakit sendiri
Listrik `w`	Rp520 ribu per bulan	500 watt nonstop, tarif B-2 Rp1.444,70 per kWh
Harga token	$0,80 per juta token masuk, $4 per juta token keluar	ganti dengan harga vendor Anda
Ukuran percakapan	8.000 token masuk, 500 token keluar	sudah termasuk prompt sistem dan hasil retrieval
Kurs	Rp17.980 per USD	Juni 2026

Dengan asumsi itu, volume percakapan yang menentukan segalanya.

Volume	Tagihan cloud per bulan	Selisih per bulan	Balik modal
100 percakapan per hari	Rp453 ribu	minus Rp67 ribu	tidak pernah
500 percakapan per hari	Rp2,27 juta	Rp1,75 juta	bulan ke-35
2.500 percakapan per hari	Rp11,33 juta	Rp10,81 juta	bulan ke-6

Total biaya on premise dibanding cloud. Garis cloud volume rendah tidak pernah menyentuh garis on premise, dan itu bagian terpenting dari gambar ini.

Baris pertama yang paling sering dilewatkan orang. Di 100 percakapan per hari, tagihan cloud malah lebih murah daripada listrik mesin sendiri. Modal Rp60 juta tidak akan balik, karena memang tidak ada yang dihemat.

Baris ketiga yang biasa dipakai orang untuk membenarkan on premise. Di 2.500 percakapan per hari, mesin itu membayar dirinya sendiri di bulan ke-6. Lewat bulan itu, hampir semua biaya yang tadinya lari ke cloud berubah jadi penghematan.

Jadi pertanyaannya bukan on premise atau cloud. Pertanyaannya: berapa volume yang memindahkan Anda dari baris pertama ke baris ketiga?

Biaya yang belum masuk hitungan

Rumus tadi sengaja dibuat sederhana, dan ada harganya. Beberapa biaya nyata tidak kelihatan di kedua garis.

Mesin yang menganggur. Mesin dibayar penuh 24 jam, tapi trafik tidak rata 24 jam. Kalau mesin nganggur setengah hari, biaya per percakapan jadi dua kali lipat. Di cloud, tagihan ikut turun waktu sepi.

Orang yang merawat mesinnya. Ada yang harus memasang, memperbarui, dan bangun jam dua pagi waktu mesin mati. Di cloud, orang itu ada di pihak vendor.

Umur mesin. GPU menua. Tiga tahun lagi, mesin yang sama melayani lebih sedikit permintaan per rupiah dibanding mesin baru di kelas harga yang sama.

Kalau mesinnya mati. Tidak ada SLA di ruang server sendiri. Satu kartu rusak, Anda yang menanggung waktu berhentinya.

Kualitas model. Untuk pekerjaan umum yang luas, model frontier masih lebih pintar daripada model yang muat di satu GPU. Jaraknya menyempit tiap kuartal, tapi hari ini jarak itu masih ada.

Empat poin pertama menaikkan biaya bulanan on premise. Poin kelima bukan soal biaya, tapi soal pekerjaannya selesai atau tidak.

Kapan cloud tetap menang

Ada tiga keadaan yang bikin saya tetap menyarankan cloud.

Volume rendah, seperti baris pertama tabel tadi. Tidak ada yang dihemat, jadi tidak ada yang bisa mengembalikan modal.

Trafik yang naik turun tajam. Di on premise Anda bayar kapasitas puncak setiap hari. Di cloud Anda bayar rata-ratanya.

Produk yang bentuknya masih berubah. Ganti model di cloud cuma satu baris konfigurasi. Di on premise, ganti model berarti ganti rencana kapasitas, kadang ganti mesinnya juga.

Hitung dengan angka Anda sendiri

Ambil tagihan cloud bulan lalu. Kurangi dengan perkiraan listrik untuk satu mesin. Bagi harga mesin dengan angka itu. Hasilnya: bulan keberapa modal Anda balik. Angka itu jauh lebih berguna daripada pendapat siapa pun soal on premise.

Kalau hasilnya di bawah dua belas bulan, hitungan ini layak diteruskan dengan serius. Kalau di atas tiga tahun, tetap di cloud dulu sampai volumenya naik.

Di tulisan lanjutannya saya bahas apa yang berubah sejak rumus ini saya tulis: kurs yang terus menekan, dan model kecil yang mengalahkan API frontier di bidang tertentu.