di dalam Makalah penelitian Diterbitkan pada 23 Oktober 2023, peneliti dari Universitas British Columbia Dan Abu Dhabi Universitas Muhammad bin Zayed AI telah menunjukkan bahwa model bahasa besar (LLM) bekerja dengan baik dalam menerjemahkan dialek Arab ke bahasa Inggris.

Sebagaimana dicatat para peneliti, bahasa Arab mencakup beragam bahasa yang digunakan oleh sekitar 450 juta orang di seluruh dunia Arab.

Kerangka linguistik ini mencakup beragam variasi yang dipengaruhi oleh faktor temporal (misalnya, bentuk historis vs. kontemporer), pertimbangan spasial (misalnya, perbedaan di tingkat negara), dan fungsi sosio-pragmatis (misalnya, penggunaan yang seragam dalam komunikasi pemerintah vs. komunikasi informal). bahasa jalanan). .

Tim menyatakan bahwa salah satu titik buta dalam penelitian ini adalah seberapa baik kinerja pemegang master bahasa dalam menerjemahkan ragam bahasa Arab ke bahasa lain. Untuk mengeksplorasi hal ini, mereka mengevaluasi kinerja ChatGPT (GPT-3.5-turbo dan GPT-4), dan Google Bard ketika menerjemahkan variasi bahasa Arab ke bahasa Inggris dan membandingkannya dengan sistem terjemahan mesin komersial (MT) seperti Google Translate dan Microsoft Translator. .

Evaluasi tersebut mencakup sepuluh ragam bahasa Arab, termasuk Bahasa Arab Standar (CA), Bahasa Arab Standar Modern (MSA), dan berbagai dialek tingkat negara, menggunakan metrik otomatis seperti BLEU, METEOR, dan TER.

Untuk menilai kemampuan pemegang LLM dalam menangani data yang benar-benar tidak terlihat, para peneliti secara manual menyusun kumpulan data bahasa Arab multi-dialek untuk evaluasi MT. Hal ini memastikan lingkungan evaluasi yang kuat dan menyoroti kinerja LLM pada kumpulan data baru dan yang sebelumnya belum tersentuh.

Kompleksitas budaya

Kurangnya kumpulan data publik untuk beberapa dialek muncul sebagai tantangan besar dan menyulitkan model untuk menangkap perbedaan dialek-dialek tersebut.

“Temuan kami mengkonfirmasi bahwa MBA arus utama masih jauh dari inklusif, dengan kemampuan yang terbatas untuk memenuhi kompleksitas bahasa dan budaya dari beragam komunitas,” kata para peneliti.

Meskipun kurangnya data, para peneliti menemukan bahwa pemegang LLM, rata-rata, mengungguli sistem terjemahan mesin komersial yang ada dalam menerjemahkan dialek. […] “Mereka adalah penerjemah dialek yang lebih baik dibandingkan sistem komersial saat ini.”

Secara khusus, GPT-4 menunjukkan performa yang lebih baik secara konsisten dibandingkan GPT-3.5-turbo, kecuali untuk skenario dengan beberapa contoh di mana GPT-3.5-turbo mencapai performa serupa. Lebih lanjut, penelitian ini menyoroti bahwa pada sebagian besar varietas yang dievaluasi, baik GPT-3.5-turbo maupun GPT-4 mengungguli Bard, sehingga menegaskan keefektifannya dibandingkan dengan Bard untuk varietas linguistik ini.

Para peneliti juga bertujuan untuk mengidentifikasi insentif yang paling efektif untuk pengajaran LLM. Untuk mencapai tujuan ini, tiga kandidat cepat diuji: prompt singkat dalam bahasa Inggris, prompt bahasa Inggris terperinci, dan ringkasan bahasa Arab. Hasil menunjukkan bahwa perintah singkat bahasa Inggris mengungguli yang lain, konsisten dengan penelitian sebelumnya yang lebih memilih perintah bahasa Inggris untuk pemegang LLM.

Selain itu, penelitian ini memperluas evaluasinya dengan memasukkan analisis yang berpusat pada manusia mengenai efektivitas model Bard dalam mengikuti instruksi manusia selama tugas penerjemahan. Hasilnya mengungkapkan terbatasnya kemampuan Bard untuk menyesuaikan diri dengan instruksi manusia dalam konteks terjemahan.

Penulis: Karima Kadawi, Samar Magdy, Abdel Wahed, Dr. Tokat Islam Khondaker, Ahmed Omar Al-Shanqeeti, Al-Mu’taz Billah Noqodi, Muhammad Abdel-Majid.