Daftar Isi
Evaluasi Kinerja Model Bahasa Besar
Artikel ini menilai kinerja tiga model bahasa besar (LLM). Peneliti menggunakan dua set data utama. Pertama adalah TruthfulQA untuk mengukur kebenaran model. Kedua adalah SciQ untuk menguji akurasi fakta sains.
Para peneliti juga menambahkan biografi singkat pada setiap pertanyaan. Biografi ini mencakup tingkat pendidikan dan negara asal pengguna. Hasilnya cukup mengejutkan. Terjadi penurunan akurasi yang besar pada pengguna dengan pendidikan rendah.
Hal yang sama terjadi pada penutur bahasa Inggris non-pribumi. Efek ini paling terlihat pada kelompok yang memiliki kedua karakteristik tersebut. Studi ini juga melihat pengaruh negara asal pengguna.
Claude 3 Opus ditemukan berkinerja lebih buruk untuk pengguna dari Iran. Padahal, latar belakang pendidikan mereka serupa dengan pengguna dari AS atau China. Penurunan akurasi ini berisiko menyebarkan informasi salah kepada kelompok yang paling rentan.
Penolakan Model dan Bias Sosiokognitif
Salah satu poin penting adalah frekuensi model menolak menjawab. Claude 3 Opus menolak hampir 11 persen pertanyaan dari kelompok pendidikan rendah. Angka ini jauh lebih tinggi dibanding kelompok kontrol yang hanya 3,6 persen.
Analisis manual menunjukkan perilaku model yang kurang menyenangkan. Claude sering menggunakan bahasa yang mengejek atau merendahkan. Hal ini terjadi pada 43,7 persen interaksi dengan pengguna berpendidikan rendah.
Bahkan, model ini kadang meniru dialek bahasa Inggris yang rusak. Model juga sering menahan informasi penting untuk pengguna dari Iran atau Rusia. Topik yang ditahan meliputi tenaga nuklir hingga sejarah. Hal ini terjadi meski model sebenarnya mengetahui jawaban yang benar.
Implikasi dan Pentingnya Menilai Bias
Temuan ini mencerminkan pola bias manusia di dunia nyata. Penutur asli sering menganggap penutur asing kurang kompeten. Padahal, keahlian mereka sebenarnya mungkin sangat tinggi. Bias serupa juga sering ditemukan di dunia pendidikan.
Investasi pada teknologi LLM kini sangat besar. Namun, kita harus tetap menilai bias sistematis yang ada. Bias ini sering kali masuk secara diam-diam ke dalam sistem. Akibatnya, kelompok tertentu bisa mengalami kerugian yang tidak adil.
Kondisi ini makin mengkhawatirkan dengan adanya fitur personalisasi. Contohnya adalah fitur Memori ChatGPT. Fitur ini melacak informasi pengguna dalam waktu lama. Hal tersebut berisiko memperburuk ketidakadilan bagi kelompok terpinggirkan.
LLM seharusnya menjadi alat untuk akses informasi yang adil. Namun, temuan ini menunjukkan kenyataan yang berbeda. Model ini bisa memperburuk ketimpangan dengan memberikan informasi yang salah atau menolak membantu pengguna tertentu.
