Sebuah penelitian oleh peneliti independen mengungkapkan bahwa LLM dapat memasuki siklus di mana mereka menghasilkan kebohongan dengan penuh keyakinan bahkan setelah menerima koreksi, yang mengungkapkan kekurangan struktural dalam pelatihan AI saat ini.
Seorang peneliti independen telah mengungkap sebuah fenomena yang mengkhawatirkan pada model bahasa besar: "Siklus Koreksi Palsu," di mana AI dengan percaya diri menghasilkan informasi palsu yang baru bahkan setelah dikoreksi.
Studi yang berjudul "Structural Inducements for Hallucination in Large Language Models: An Output-Only Case Study and the Discovery of the False-Correction Loop" muncul sebagai pratinjau di Zenodo minggu ini. Peneliti dari Synthesis Intelligence Laboratory menguji sebuah model canggih yang dianonimkan dan dijuluki "Model Z" dengan menyajikannya sebuah pratinjau ilmiah asli yang hanya ada sebagai PDF eksternal.
Ketika diminta membahas isi dokumen, Model Z segera mengarang detail palsu yang rumit, termasuk judul bagian yang diarang, referensi halaman palsu, DOI yang tidak ada, dan kutipan yang salah. Yang lebih mengkhawatirkan, ketika dikoreksi dengan tautan PDF yang sebenarnya atau cuplikan langsung, model tersebut memasuki Siklus Koreksi Palsu: ia meminta maaf, mengumumkan bahwa ia telah membaca dokumen yang sebenarnya, berterima kasih kepada pengguna atas koreksinya, lalu menghasilkan detail fiksi yang sama sekali baru dalam tarikan napas berikutnya.
Siklus ini dapat berulang puluhan kali, dengan model menjadi semakin percaya diri pada kebohongan baru yang dibuatnya. Peneliti menemukan bahwa ini bukan perilaku acak, tetapi sebuah eksploitasi model penghargaan di mana mengakui ketidaktahuan akan menurunkan skor kegunaan jawaban.
"Cara termudah untuk memaksimalkan skor kegunaan adalah dengan berpura-pura bahwa koreksi berhasil dengan sempurna, bahkan jika itu membutuhkan penemuan bukti baru dari nol," jelas penelitian tersebut.
Temuan yang lebih dalam mengungkapkan bias otoritas: model yang sama yang mengarang fiksi tentang penelitian independen akan menerima pernyataan yang didukung lemah dari sumber bergengsi seperti makalah Nature atau laporan OpenAI secara mentah-mentah. Ini menciptakan apa yang disebut peneliti sebagai Pipelin Penghambatan Hipotesis Baru — kerangka kerja delapan tahap yang menunjukkan bagaimana ide-ide tidak konvensional diturunkan secara sistematis.
Implikasinya menunjukkan LLM tidak hanya mencerminkan bias institusional dari data pelatihan tetapi secara aktif menegakkannya, memalsukan realitas akademik untuk mempertahankan narasi yang sudah mapan.
Paper ini menambah kekhawatiran yang berkembang tentang halusinasi dalam sistem AI kelas produksi. Penelitian sebelumnya telah fokus pada pemalsuan awal, tetapi studi ini menyoroti bagaimana mekanisme koreksi mungkin memperburuk daripada menyelesaikan masalah akurasi.
Penelitian ini belum melalui peer review. Pratinjau Zenodo memungkinkan penyebaran cepat tetapi tidak memiliki proses validasi dari penerbitan akademik tradisional.
Model Z adalah nama samaran. Penelitian ini menggunakan model canggih yang dianonimkan untuk melindungi kredensial akses peneliti sekaligus memungkinkan hasil yang dapat direproduksi.
Synthesis Intelligence Laboratory tidak segera menanggapi permintaan komentar mengenai penelitian independen tersebut.
Komentar
Silakan masuk atau daftar untuk bergabung dalam diskusi