Data Poisoning: 250 Dokumen Cukup untuk Menanam Backdoor di LLM

Data poisoning pada model bahasa ternyata tidak membutuhkan porsi besar dari data latih. Penelitian yang dipublikasikan Anthropic bersama UK AI Security Institute dan Alan Turing Institute pada 9 Oktober 2025 menemukan bahwa sekitar 250 dokumen berbahaya sudah cukup untuk menanam backdoor di model berukuran 600 juta sampai 13 miliar parameter.

Apa Itu Data Poisoning pada LLM

Data poisoning adalah serangan terhadap tahap pembelajaran: penyerang menyelipkan data yang sengaja dirancang ke dalam kumpulan data yang dipakai untuk melatih atau menyetel model. Salah satu bentuknya adalah backdoor, yaitu perilaku tersembunyi yang hanya muncul ketika model melihat pemicu (trigger) tertentu. Di luar pemicu itu, model tampak normal sehingga pengujian biasa sulit menangkapnya.

Risiko ini tercantum sebagai LLM04:2025 Data and Model Poisoning dalam OWASP Top 10 untuk aplikasi LLM. Untuk gambaran menyeluruh, baca panduan OWASP Top 10 untuk Agentic AI dan LLM dan katalog taktik serangan di MITRE ATLAS 2026.

Temuan Penelitian: 250 Dokumen Cukup

Menurut publikasi Anthropic, tim peneliti melatih 72 model dari empat ukuran (600 juta, 2 miliar, 7 miliar, dan 13 miliar parameter), masing-masing dengan tiga seed acak, pada data dengan rasio Chinchilla-optimal. Mereka menyuntikkan 100, 250, atau 500 dokumen beracun. Hasilnya:

• Keberhasilan serangan bergantung pada jumlah absolut dokumen beracun, bukan persentasenya terhadap seluruh data latih.
• Seratus dokumen tidak berhasil memasang backdoor secara andal pada model mana pun, sedangkan 250 dokumen sudah cukup secara konsisten, terlepas dari ukuran model.
• Model 13 miliar parameter dilatih dengan data lebih dari 20 kali lipat dibanding model 600 juta, namun tetap terpengaruh pada jumlah dokumen yang sama.
• Sebagai gambaran, 250 dokumen setara sekitar 420 ribu token, atau kira-kira 0,00016 persen dari total token latih.

Implikasinya, anggapan lama bahwa penyerang harus mengendalikan sebagian tertentu dari data latih menjadi kurang meyakinkan. Karena korpus latih tumbuh sangat besar, jumlah dokumen tetap yang dibutuhkan penyerang menjadi relatif lebih mudah dicapai.

Batasan yang Perlu Diingat

Penting untuk membaca temuan ini secara proporsional. Para peneliti sendiri menegaskan beberapa batasan:

• Backdoor yang diuji sempit dan berdampak rendah: model hanya menghasilkan teks acak (gibberish) ketika melihat frasa pemicu. Itu serangan jenis penolakan layanan, bukan pencurian data atau pembobolan pengaman.
• Belum jelas apakah pola yang sama berlaku pada model yang jauh lebih besar, atau pada perilaku yang lebih kompleks seperti menyisipkan kode tidak aman atau melewati pagar pengaman. Penelitian sebelumnya menunjukkan perilaku semacam itu lebih sulit dicapai.
• Penyerang tetap membutuhkan jalan untuk memasukkan kontennya ke data latih, dan harus menghadapi tahap pasca-latih serta pertahanan lain.
• Anthropic menyatakan backdoor sempit yang diuji kecil kemungkinannya menimbulkan risiko signifikan pada model frontier. Ini tidak berarti data poisoning secara umum aman. Penulisnya juga menilai poisoning sebagai vektor serangan cenderung menguntungkan pembela, karena penyerang memilih sampelnya sebelum pembela dapat memeriksa kumpulan data dan model hasil latih secara adaptif.

Mengapa Ini Relevan bagi Tim di Indonesia

Sebagian besar organisasi di Indonesia tidak melatih model dari nol, tetapi banyak yang menyetel (fine-tune) model terbuka, membangun chatbot dengan retrieval-augmented generation (RAG), atau menyalin dataset dari repositori publik. Pada skenario seperti itu, pelajaran dari penelitian ini praktis: konten yang Anda masukkan ke dalam model atau basis pengetahuan adalah permukaan serangan. Jika sumbernya terbuka untuk disunting siapa pun, jumlah kecil dokumen yang diselipkan bisa memengaruhi keluaran.

Perlu dibedakan dengan prompt injection yang terjadi saat model dijalankan. Data poisoning terjadi sebelum itu, pada data yang membentuk model atau basis pengetahuannya. Kedua risiko ini sering saling melengkapi, jadi pertahanannya pun harus berlapis. Kaitan dengan rantai pasok juga erat; bacaan kami tentang supply chain attack perangkat lunak menjelaskan logika yang sama untuk artefak data dan model.

Kebersihan Dataset: Langkah Defensif yang Bisa Dilakukan

Penelitian ini tidak menetapkan daftar teknik pertahanan baku, tetapi prinsip kebersihan data berikut selaras dengan kesimpulannya dan praktik umum keamanan rantai pasok.

1. Ketahui asal data. Catat sumber, versi, tanggal, dan pemilik setiap dataset serta dokumen RAG. Data tanpa asal-usul yang jelas diperlakukan sebagai tidak tepercaya.
2. Batasi siapa yang bisa menulis. Terapkan kontrol akses dan peninjauan pada korpus internal, wiki, dan repositori dokumen yang menjadi sumber model. Perubahan yang tidak terkontrol adalah celah utamanya.
3. Kunci versi dan verifikasi integritas. Simpan hash dataset dan checkpoint, dan bandingkan sebelum pelatihan atau penyetelan ulang, sehingga perubahan diam-diam terdeteksi.
4. Saring dan deduplikasi. Buang dokumen duplikat, anomali, atau yang memuat pola janggal sebelum masuk ke pelatihan. Tidak ada filter yang sempurna, tetapi ini menaikkan biaya penyerang.
5. Uji perilaku, bukan hanya akurasi. Sertakan evaluasi untuk keluaran aneh pada masukan tak lazim, dan bandingkan model sebelum dan sesudah penyetelan.
6. Pantau setelah rilis. Catat dan tinjau keluaran yang menyimpang, serta siapkan prosedur untuk menarik atau melatih ulang model bila ada indikasi pencemaran.
7. Ambil model dari sumber tepercaya. Untuk model dan dataset pihak ketiga, pakai penerbit resmi dan periksa riwayat perubahannya.

Pertanyaan yang Sering Diajukan

Apakah 250 dokumen cukup untuk membobol model sebesar GPT atau Claude?

Belum terbukti. Penelitian menguji model sampai 13 miliar parameter dan backdoor yang berdampak rendah. Para peneliti menyatakan masih belum jelas apakah tren ini berlanjut pada model yang lebih besar atau perilaku yang lebih berbahaya.

Apa bedanya data poisoning dengan prompt injection?

Data poisoning menyerang data pelatihan atau basis pengetahuan sebelum model dipakai, sedangkan prompt injection menyisipkan instruksi saat model sedang berjalan. Keduanya perlu dimitigasi secara terpisah.

Apakah aplikasi RAG saya terpengaruh?

Risikonya berbeda dari pelatihan model, tetapi prinsipnya serupa: dokumen yang tidak tepercaya dalam basis pengetahuan dapat memengaruhi jawaban. Kontrol siapa yang boleh menambah atau mengubah dokumen.

Kesimpulan

Pesan utama penelitian ini sederhana: yang menentukan bukan seberapa besar data Anda, melainkan seberapa kecil jumlah dokumen berbahaya yang dibutuhkan penyerang. Karena itu, perlakukan data latih dan basis pengetahuan seperti kode produksi: tahu asalnya, batasi siapa yang boleh mengubahnya, dan verifikasi integritasnya. Jika organisasi Anda mulai membangun atau menyetel model, Linuxhackingid siap membantu lewat program training keamanan yang disesuaikan dengan kebutuhan tim.