Tim ML memperketat pertahanan terhadap pencemaran data

InfoQ menerbitkan analisis pada 22 Juni mengenai poisoning (peracunan) model ML, dengan fokus pada serangan data pelatihan, batasan deteksi, dan kontrol pipeline bagi tim yang meluncurkan model ke tahap produksi.

Igor Maljkovic, seorang peneliti Ph.D. dalam keamanan AI, membingkai poisoning sebagai masalah integritas data. Penyerang menambahkan atau mengubah sampel pelatihan sehingga model mempelajari perilaku yang salah. Mereka dapat menurunkan akurasi secara luas, menargetkan satu kelas, atau menanam pemicu (trigger) yang mengubah prediksi pada saat inferensi.

Peringatan utama ditujukan bagi tim yang menggunakan dataset publik, pelabelan crowd, alur kontribusi terbuka, atau penyimpanan data internal bersama. Anda bisa saja membangun loop pelatihan yang bersih namun tetap melatih model dengan data berbahaya jika Anda kekurangan proveniens (asal-usul data), kontrol akses, dan gerbang peninjauan.

Risiko baru dalam set pelatihan

Serangan poisoning berfokus pada data yang membentuk model. Penyerang dapat membalikkan label, menambahkan outlier, membuat sampel backdoor, atau mengirimkan contoh clean-label yang terlihat valid bagi peninjau.

Label flipping memberikan asosiasi yang buruk pada model. Gambar kucing menerima label anjing, atau sampel malware menerima label jinak (benign). Dataset yang besar membuat peninjauan manual menjadi sulit, sehingga subset kecil yang teracuni dapat lolos dari pemeriksaan rutin.

Serangan backdoor menggunakan pemicu. Penyerang menambahkan contoh pelatihan yang mengandung pola kecil, tanda air, stiker, token, atau artefak, lalu menetapkan kelas target penyerang. Model mempelajari pemicu tersebut namun tetap mempertahankan akurasi normal pada input yang bersih. Pada saat inferensi, penyerang menambahkan pemicu tersebut dan mengarahkan prediksi.

Clean-label poisoning meningkatkan tingkat kesulitan bagi pembela. Penyerang tetap menggunakan label yang benar tetapi mengubah fitur sehingga contoh tersebut mengubah representasi internal model. Peninjau manusia melihat sampel yang valid. Model melihat titik pelatihan yang mendorong contoh target menuju kelas yang salah.

Serangan feature collision menggunakan pola tersebut. Penyerang membuat satu contoh sehingga pengekstrak fitur model menempatkannya di dekat target dalam ruang representasi. Selama pelatihan, pengklasifikasi mempelajari batas yang nantinya salah mengklasifikasikan target tersebut.

DoS poisoning menargetkan keandalan alih-alih satu prediksi. Penyerang memberikan sampel yang berisik, rusak, atau tidak informatif dalam jumlah besar. Model melatih lebih lambat, konvergen ke bobot yang lebih buruk, atau gagal dalam gerbang kualitas dasar.

Dampak pada Pipeline

Tim ML produksi harus memperlakukan poisoning sebagai masalah rantai pasokan. Model mewarisi tingkat kepercayaan dari data pelatihannya.

Chatbot Tay milik Microsoft memberikan contoh nyata kepada publik pada tahun 2016. Pengguna memberikan input berbahaya ke sistem, dan bot tersebut menghasilkan postingan yang rasis dan ofensif. Insiden tersebut melibatkan pembelajaran daring (online learning) daripada korpus pelatihan statis, tetapi pelajarannya berlaku untuk MLOps: sistem yang belajar dari input yang tidak terpercaya membutuhkan batasan, peninjauan, dan jalur rollback.

Sistem ML pencarian, spam, malware, dan medis menghadapi kelas risiko yang sama. Filter spam dapat belajar menerima pesan berbahaya jika penyerang mengirimkan cukup banyak contoh sebagai surat sah. Pengklasifikasi malware dapat melewatkan payload jika penyerang meracuni kelas jinak. Model medis dapat membahayakan pasien jika orang dalam atau umpan data yang terkompromi menambahkan pemindaian yang salah label.

Kerusakan sering kali muncul terlambat. Model yang teracuni dapat lolos uji akurasi agregat dan hanya gagal pada target penyerang. Kesenjangan itulah yang membuat model poisoning lebih sulit dideteksi daripada kegagalan proses ingestion atau schema drift.

Playbook Deteksi

Tim membutuhkan pemeriksaan berlapis. Higiene dasar tetap membantu: hapus duplikasi rekaman, validasi skema, periksa distribusi label, pindai outlier, dan bandingkan data baru dengan baseline yang terpercaya.

Pemeriksaan tersebut dapat menangkap serangan kasar. Penyerang yang lebih kuat merancang sampel yang sesuai dengan distribusi pelatihan, sehingga pembela membutuhkan peninjauan yang sadar-model (model-aware review).

Activation clustering mengelompokkan sampel pelatihan berdasarkan aktivasi internal dari model yang telah dilatih. Jika satu kelas mengandung klaster kecil dengan pola aktivasi yang tidak biasa, tim dapat memeriksa contoh-contoh tersebut untuk mencari pemicu backdoor.

Spectral signature analysis mencari arah yang tidak biasa dalam ruang fitur. Sampel yang teracuni sering kali menciptakan artefak geometris yang terlewatkan oleh pemeriksaan label standar.

Influence analysis mengurutkan contoh pelatihan berdasarkan efeknya terhadap prediksi terpilih. Tim dapat melacak prediksi yang mencurigakan kembali ke sampel yang membentuknya, lalu memeriksa proveniens, label, dan transformasinya.

Adversarial Robustness Toolbox dari IBM memberikan tempat pengujian praktis bagi tim untuk metode-metode ini. ART mendukung TensorFlow, Keras, PyTorch, scikit-learn, XGBoost, LightGBM, CatBoost, dan GPy. Pertahanan poisoning-nya mencakup pendekatan activation clustering dan spectral signature.

Alur kerja ART yang umum adalah melatih atau memuat pengklasifikasi, mengekstrak aktivasi untuk data pelatihan berlabel, mengelompokkan aktivasi tersebut, lalu menandai sampel yang mencurigakan untuk ditinjau. Tim dapat menjalankan pemeriksaan itu sebagai audit luring sebelum promosi ke registri model.

Kontrol yang Sesuai untuk MLOps

Tim keamanan harus memulai dengan akses. Gunakan kontrol akses berbasis peran (role-based access control) pada penyimpanan data, alat pelabelan, feature store, dan pekerjaan pelatihan. Batasi akses tulis ke dataset pelatihan. Wajibkan peninjauan untuk sumber baru dan perubahan label dalam jumlah besar.

Proveniens data memberikan jalur bagi responden untuk melacak kembali dari model yang buruk ke rekaman sumber. Tim dapat menggunakan DVC atau lakeFS untuk memversi dataset, mencatat silsilah (lineage), dan mereproduksi proses pelatihan. Checksum dan tanda tangan digital membantu tim mendeteksi manipulasi antara tahap ingestion dan pelatihan.

Gerbang validasi harus dijalankan sebelum data masuk ke set pelatihan. TensorFlow Data Validation dapat memeriksa perubahan skema dan distribusi. Great Expectations dapat menegakkan aturan kualitas data di seluruh pipeline batch.

Sampel canary dan golden datasets memberikan probe yang stabil bagi tim. Sampel canary memiliki hasil yang diharapkan yang sudah diketahui. Golden dataset berisi contoh terpercaya yang dikontrol oleh peninjau. Jika model yang dilatih ulang mengubah perilaku pada probe tersebut, tim harus menghentikan promosi dan memeriksa perubahan data terbaru.

Kode pelatihan dapat mengurangi pengaruh sampel yang teracuni. Tim dapat menggunakan regularisasi yang lebih kuat, fungsi loss yang kokoh, pembobotan ulang sampel, atau contoh pelatihan adversarial. Langkah-langkah ini tidak menggantikan kontrol data, tetapi dapat membatasi radius dampak ketika sampel berbahaya lolos dari peninjauan.

Pemantauan produksi menutup siklus ini. Lacak metrik tingkat kelas, pergeseran kepercayaan, pola aktivasi, dan kegagalan terhadap golden datasets setelah penerapan. Pasangkan sinyal-sinyal tersebut dengan dukungan rollback di registri model dan feature store.

Jalur Migrasi untuk Tim

Tim kecil dapat memulai dengan empat perubahan.

Pertama, catat silsilah dataset untuk setiap proses pelatihan. Simpan sumber, stempel waktu, versi transformasi, sumber label, dan identitas peninjau jika kebijakan mengizinkan.

Kedua, tambahkan pemeriksaan validasi saat ingestion. Gagalkan pekerjaan jika terjadi kerusakan skema, lonjakan distribusi label, dan source drift yang melebihi ambang batas Anda.

Ketiga, jalankan audit poisoning luring pada set pelatihan kandidat. ART memberikan titik awal yang berguna bagi peneliti dan tim platform untuk activation clustering dan pemeriksaan spektral.

Keempat, batasi promosi model berdasarkan probe terpercaya. Jalankan setiap model kandidat terhadap golden datasets dan sampel canary sebelum dirilis.

Tim besar harus menambahkan pemisahan tugas. Kontributor data, peninjau label, pelatih model, dan pemilik rilis tidak boleh berbagi akses tulis yang luas. Staf keamanan harus mengaudit pengecualian, sumber berdampak tinggi, dan peristiwa pelatihan ulang darurat.

ML poisoning tidak memerlukan akses yang eksotis. Penyerang hanya membutuhkan jalur masuk ke data pelatihan atau umpan balik pembelajaran daring. Pertahanan Anda dimulai ketika Anda memperlakukan perubahan data dengan disiplin yang sama seperti yang Anda terapkan pada perubahan kode.