FlowingDev

Protobuf, dijelaskan: format binary super efisien yang agak sok jual mahal

Pahami Protocol Buffers, format serialisasi binary secepat kilat dari Google yang nge-press data kamu jadi paket-paket mungil yang type-safe.

Coba tool-nya: Dekoder Protobuf

Dalam satu kalimat

Protocol Buffers (Protobuf) adalah format binary yang language-neutral dan kenceng banget buat serialisasi data terstruktur—anggap aja dia ini sepupunya JSON yang anak gym, badannya kekar teroptimasi, dan cuma mau ngobrol pakai stream binary yang padat dan terkompresi.

Masalah yang diselesaikan

Di awal tahun 2000-an, Google punya masalah besar: mereka punya buanyak banget internal services yang saling ngobrol, dan traffic-nya makin lama makin berat. Waktu itu, standar industri buat komunikasi antar-komputer adalah XML. XML itu keren sih kalau kamu hobi baca angle brackets (kurung siku), tapi dia terkenal bloated (bengkak) dan lambat buat di-parse. Tiap kali server mau ngirim data simpel, kayak ID user, dia harus ngirim text tags pelengkapnya <userId>12345</userId>, terus server penerima harus nge-parse string itu, nyocokin tags-nya, dan nge-konversi "12345" balik jadi integer.

Pas JSON mulai populer, dia emang lebih ringan, tapi tetep aja ngalamin masalah inefisiensi inti yang sama: dia itu format teks yang mentransmisikan raw strings. Kalau kamu ngirim sejuta records dengan field "emailAddress", berarti kamu ngirim string "emailAddress" sejuta kali lewat jaringan.

Para engineer Google nyadar kalau ini bener-bener buang-buang bandwidth dan CPU cycles. Mereka butuh format yang:

  1. Super kecil di jaringan (Tiny on the wire): Nggak usah ngirim nama field, datanya aja.
  2. Cepat di-parse: Komputer itu lebih suka baca bits dan bytes, bukan nge-parse karakter teks.
  3. Strictly typed: Kalau aku ngirim integer, kamu harus nerima integer, tanpa perlu komat-kamit berharap string-nya sukses di-parse.
  4. Backwards compatible: Aku harus bisa nge-update service ke format data baru tanpa bikin rusak client lama yang belum di-update.

Solusi mereka adalah Protocol Buffers. Alih-alih ngirim teks self-describing (yang ngejelasin dirinya sendiri), Protobuf bergantung sama "kontrak" (schema) yang udah disepakati di awal. Karena pengirim dan penerima udah sama-sama tau schema-nya, data asli yang dikirim lewat jaringan bakal ditelanjangi dari semua metadata, nyisain nilai binary mentah yang ke-kompres tingkat dewa.

Cara kerjanya di balik layar

Buat mahamin Protobuf, kamu harus ngebedahnya jadi tiga fase: kontrak (schema), compiler, dan wire format.

Schema (.proto)

Semuanya berawal dari file .proto. Ini adalah kontrak language-agnostic (nggak peduli pakai bahasa pemrograman apa aja) di mana kamu ngedefinisiin bentuk persis dari datamu. 

syntax = "proto3";

message Person {
  string name = 1;
  int32 id = 2;
  bool is_active = 3;
}

Merhatiin angka-angka itu (= 1, = 2)? Itu namanya Field Tags. Ini dia bumbu rahasianya Protobuf. Kalau di JSON, key "name" yang jadi identitas field. Di Protobuf, angka 1 lah yang jadi identitasnya.

Tahap Kompilasi

Kamu nggak nulis kode buat nge-parse Protobuf secara manual. Kamu jalanin tool compiler (protoc) ke file .proto kamu, terus ngasih tau dia bahasa apa yang pengen kamu output-in. Dia bakal ngelepeh native classes buat C#, TypeScript, Python, Go, atau apa pun bahasa yang lagi kamu pakai.

Pas aplikasimu mau ngirim data Person, kamu tinggal bikin instance dari class yang di-generate tadi, isi datanya, terus panggil method Serialize(). Kode generated inilah yang bakal ngurusin proses binary packing yang ribet itu.

Wire Format (Sihir Binary)

Waktu kamu nge-serialize object Person itu, apa sih yang sebenernya jalan ngelewatin jaringan?

Dia pakai pendekatan [Key] [Value], tapi di level byte. Key-nya bukan string; melainkan satu byte (atau beberapa bytes) yang nggabungin Field Tag kamu sama Wire Type dari datanya.

Wire Type ngasih tau si penerima seberapa panjang nilai yang bakal datang setelahnya. Ini dia core wire types-nya:

Wire Type Arti Digunakan Untuk
0 Varint int32, int64, uint32, bool, enum
1 64-bit fixed64, sfixed64, double
2 Length-delimited string, bytes, embedded messages
5 32-bit fixed32, sfixed32, float

Misalnya, kalau kamu nge-set is_active = true (Field 3, Wire Type 0), Protobuf nge-encode key (gabungan 3 dan 0) dan nilainya (1 buat true) cuma jadi dua byte doang. Kalau di JSON, "is_active": true itu ngabisin 17 bytes.

Trik Varint

Protobuf pakai "Base-128 Varints" buat ngompres angka. Sebuah integer 32-bit standar bakalan selalu makan 4 bytes di memori, walaupun angkanya cuma 5. Protobuf mikir, "Ngapain buang-buang 3 bytes isinya nol doang?"

Pakai Varints, tiap byte nyediain 1 bit (Most Significant Bit / MSB) buat dijadiin flag penanda yang bilang, "Masih ada byte selanjutnya nggak nih?" Kalau angkanya kecil, MSB-nya 0, dan angka itu bisa muat pas di 1 byte. Ini artinya angka yang lebih kecil bakal makan ruang yang jauh lebih sedikit di jaringan.

Decoding tanpa schema

Karena wire format itu udah nyertakan Wire Type, sebuah parser bisa nyusurin aliran byte Protobuf mentah dan nebak bentuknya bahkan tanpa file .proto. Dia emang nggak bakal tau kalau Field 1 itu namanya "name", tapi dia bisa liat: "Field 1 ini adalah length-delimited string sepanjang 4 bytes yang isinya 'John'." Inilah alasannya kenapa kamu bisa ngelempar data raw hex atau Base64 Protobuf ke dalam decoder dan tetep dapet struktur tree bergaya JSON dari tags dan nilainya yang masih berguna.

Cerita di dunia nyata

Armada IoT yang Kehabisan Napas

Sebuah startup ngebangun armada sensor pertanian pintar buat ngukur kelembaban tanah melintasi lahan pertanian beratus-ratus mil. Awalnya, mereka bikin sensor ini nge-ping server pusat setiap menit pakai payload JSON lewat jaringan seluler. Dalam sebulan, ada dua kejadian: tagihan data 3G mereka meroket, dan baterai di sensor-sensor itu pada mati dalam hitungan minggu, bukan bulan.

Mereka nulis ulang firmware sensornya buat nge-serialize data jadi Protocol Buffers. Karena yang mereka kirim itu cuma angka-angka kecil dan boolean, ngebuang semua string JSON kayak {"sensorId": 14, "moistureLevel": 42} bikin ukuran payload mereka turun drastis sampai lebih dari 80%. Pelajaran yang dipetik: Waktu bandwidth itu mahal dan daya baterai itu terbatas, mentransmisikan raw strings adalah sebuah kemewahan yang nggak bisa kamu bayar. Serialisasi binary nyelamatin resource fisik.

Kemacetan Microservice Hebat Tahun 2018

Sebuah raksasa e-commerce mutusin buat mecah backend monolithic mereka jadi 50 microservices terpisah. Mereka milih REST API pakai JSON buat komunikasi. Tiba-tiba, latency keseluruhan melonjak tajam. Pas nge-profile server-server itu, ketemu hal yang bikin shock: backend services ini ngabisin 30% dari CPU cycles mereka cuma buat nge-stringify dan nge-parse JSON saat datanya lompat dari service Auth ke service Cart lanjut ke service Inventory.

Mereka akhirnya migrasi komunikasi internal mereka ke gRPC, sebuah framework yang dibangun sepenuhnya di atas Protobuf. Karena nge-parse Protobuf pada dasarnya cuma ngebaca memory offsets dan ngegeser bits (shifting bits), pemakaian CPU langsung nyungsep. Data melesat antar service secara instan. Pelajaran yang dipetik: Di sistem backend internal yang high-throughput, nge-parse teks itu ibarat pajak siluman. Serialisasi binary adalah celah pajak yang legal.

Payload Misterius di Network Dump

Seorang security researcher nyoba nge-reverse-engineer API tak terdokumentasi dari sebuah aplikasi mobile buat ngeliat data apa aja yang mereka kumpulin. Dia nge-route traffic aplikasinya lewat proxy, ngarepnya sih bakal liat JSON yang rapi dan bisa dibaca. Alih-alih, dia malah dapet teks acak-acakan nggak jelas. Headers HTTP mengonfirmasi kecurigaannya: Content-Type: application/x-protobuf.

Dia emang nggak punya schema .proto-nya (developer aplikasinya nyimpen itu di server mereka). Tapi dia ngambil payload Base64 itu dan ngejalaninnya di decoder raw Protobuf. Muncul deh tree yang terstruktur: Field 1: "johndoe", Field 2: "user@example.com", Field 3: 40.7128, Field 4: -74.0060. Dia langsung ngenalin kalau field 3 dan 4 itu koordinat GPS. Pelajaran yang dipetik: Protobuf itu nggak dienkripsi, dia cuma di-encode. Biarpun tanpa petanya, remah-remah struktural yang ditinggalin sama Wire Types ngemungkinin kamu buat nge-reverse-engineer kerangka datanya.

Kesalahan umum dan jebakan

  • Pakai ulang field tags: Angka adalah sumber kebenaran yang absolut. Kalau kamu ngapus suatu field (misal, string name = 1;), kamu nggak boleh sekalipun pakai lagi angka 1 itu buat field baru kayak int32 age = 1;. Kalau client lama ngirim string, terus server baru nyoba bacanya sebagai integer, meledak lah semuanya.
  • Lupa nge-reserve field yang dihapus: Buat nyegah kesalahan di atas, Protobuf nyediain keyword reserved. Kalau kamu ngapus field 2, kamu harus nulis secara eksplisit reserved 2; di schema kamu. Ini maksa compiler buat ngomel ke developer manapun yang nyoba pakai lagi angka itu di masa depan.
  • Ngubah tipe data sembarangan: Kamu aman kalau mau ngubah beberapa tipe (kayak int32 ke int64 karena mereka pakai wire type Varint yang sama), tapi ngubah string jadi int32 itu namanya breaking change. Wire types-nya pada dasarnya nggak kompatibel.
  • Nganggap Protobuf itu aman (secure): Dia ini format serialisasi, bukan enkripsi. Kalau kamu ngirim data user yang sensitif lewat HTTP pakai Protobuf tanpa TLS/SSL, siapa aja yang nyadap traffic itu bisa nge-decode nilai mentahnya dengan gampang.
  • Asal pakai di browser: Walaupun teknologi kayak gRPC-web itu ada, browser web secara native bahasanya adalah JSON. Bawa Protobuf ke web app frontend berarti harus nyertain library parsing yang bengkak di bundle JavaScript kamu, yang kadang malah ngebatalin penghematan bandwidth dari format binary itu sendiri.

Kenapa ini wajib masuk radarmu

Kamu sebaiknya nggak usah pakai Protobuf buat API publik kamu—JSON tetep jadi raja tak tertandingi di area itu karena gampang dibaca manusia (human-readable), fleksibel, dan dimengerti secara native sama semua browser di muka bumi.

Tapi, kamu harus langsung lirik Protobuf pas kamu pegang kendali di kedua ujung pipanya. Kalau kamu lagi ngebangun microservices yang saling ngobrol satu sama lain, aplikasi mobile yang nembak backend, game multiplayer real-time, atau perangkat IoT, Protobuf adalah sebuah superpower. Dia maksa kontrak data yang ketat antar tim (karena semuanya nge-compile dari file .proto yang sama), nangkep error tipe data di tahap compile, dan meres habis setiap tetes performa dari infrastruktur jaringanmu.

Gali lebih dalam

Teori beres. Saatnya praktik — 100% di browser kamu.

Coba tool-nya: Dekoder Protobuf