AI Canggih Ternyata Gagap Bahasa Daerah LoraxBench Ungkap Faktanya

VOXBLICK.COM - Kita sering dibuat takjub dengan kemampuan kecerdasan buatan atau AI. Hanya dengan beberapa perintah, Large Language Models (LLM) seperti ChatGPT atau Gemini bisa menulis esai, membuat kode, bahkan menciptakan puisi. Kemampuannya terasa tanpa batas, seolah memahami segalanya. Namun, apa jadinya jika AI super canggih ini dihadapkan pada sebuah teka-teki dalam bahasa Sunda atau diminta menafsirkan makna filosofis dari naskah kuno dalam bahasa Bugis? Di sinilah kemilau teknologi itu mulai meredup. Sebuah inisiatif bernama LoraxBench hadir untuk menguji batas kemampuan para raksasa digital ini, dan hasilnya membuka mata kita tentang sebuah fakta penting: kecerdasan buatan saat ini masih sangat Jakarta-sentris, atau lebih tepatnya, Barat-sentris. Mereka mungkin fasih berbahasa Inggris, tetapi gagap saat berhadapan dengan kekayaan linguistik Nusantara. Ini bukan sekadar masalah terjemahan, tetapi tentang inti dari kecerdasan itu sendiri yaitu penalaran AI.

Mengapa AI Sering Tersesat di Bahasa Daerah?

Untuk memahami mengapa AI seringkali gagal paham dengan bahasa daerah, kita perlu mengintip dapur tempat mereka dimasak. Bayangkan LLM adalah seorang siswa yang sangat rajin.

Makanan sehari-harinya adalah buku, artikel, dan miliaran teks dari internet. Masalahnya, hampir seluruh perpustakaan yang ia baca didominasi oleh bahasa Inggris. Bahasa-bahasa lain, termasuk Bahasa Indonesia, porsinya jauh lebih kecil. Sementara itu, bahasa daerah seperti bahasa Sunda dan bahasa Bugis hanya seperti beberapa lembar brosur yang terselip di antara rak-rak buku raksasa. Inilah yang disebut sebagai masalah low-resource languages atau bahasa sumber daya rendah. Jumlah data digital yang tersedia untuk melatih model kecerdasan buatan sangatlah minim.

Kekurangan data ini menciptakan beberapa masalah serius:

• Bias Kontekstual: AI tidak memahami nuansa budaya yang melekat pada bahasa. Sebuah peribahasa dalam bahasa Sunda mungkin akan diterjemahkan secara harfiah tanpa menangkap makna kiasan di baliknya. Kemampuan penalaran AI menjadi tumpul karena tidak memiliki referensi budaya yang cukup.


• Struktur Bahasa yang Berbeda: Setiap bahasa punya tata bahasa dan struktur yang unik. Bahasa Bugis, misalnya, memiliki aksara sendiri yaitu Lontara. Tanpa data yang memadai, LLM akan kesulitan memproses struktur kalimat dan aksara yang tidak lazim ditemuinya.


• Ketergantungan pada Terjemahan: Seringkali, untuk memahami bahasa daerah, LLM akan berpikir dalam bahasa Inggris terlebih dahulu. Ia menerjemahkan perintah ke bahasa Inggris, memprosesnya, lalu menerjemahkan jawabannya kembali ke bahasa daerah. Proses bolak-balik ini sangat rentan terhadap kesalahan dan kehilangan makna asli, terutama untuk tugas-tugas yang membutuhkan penalaran AI yang mendalam.

Kondisi ini membuat performa LLM anjlok drastis saat diuji dengan bahasa daerah. Mereka mungkin bisa menjawab pertanyaan sederhana seperti "Ibu kota Jawa Barat di mana?" dalam bahasa Sunda, tetapi akan kebingungan jika diminta menjelaskan makna dari sisindiran yang kompleks. Di sinilah urgensi alat ukur seperti LoraxBench menjadi sangat relevan. Ia tidak hanya menunjukkan kekurangan, tetapi juga memberikan peta jalan untuk pengembangan kecerdasan buatan yang lebih inklusif dan merata.

LoraxBench Lahir Inilah Senjata Baru Penguji AI Lokal

Melihat adanya kesenjangan besar ini, sekelompok peneliti brilian dari Indonesia tidak tinggal diam. Mereka menciptakan LoraxBench, sebuah tolok ukur (benchmark) yang dirancang khusus untuk mengukur kemampuan penalaran LLM dalam konteks bahasa daerah yang minim sumber daya. Inisiatif ini dipelopori oleh para peneliti dari institusi ternama seperti Universitas Indonesia (UI) dan Telkom University, di antaranya Muhammad Farid Adilazuardi, Adityo Pratomo, dan Alham Fikri Aji. Karya mereka, yang dipublikasikan dalam sebuah makalah riset berjudul "Lorax-BENCH: A Multi-LRA Benchmark for Long-Range Reasoning in Low-Resource Languages", menjadi sebuah terobosan penting.

Nama LoraxBench sendiri terinspirasi dari karakter The Lorax dalam buku Dr. Seuss, yang berbicara untuk pepohonan.

Filosofi ini diadopsi oleh para peneliti, di mana LoraxBench berbicara untuk bahasa-bahasa yang terpinggirkan di dunia digital. Tujuannya bukan sekadar menguji kemampuan terjemahan kata per kata. Jauh lebih dalam dari itu, LoraxBench didesain untuk menguji kemampuan penalaran AI dalam konteks panjang (long-context reasoning). Artinya, AI tidak hanya diminta memahami satu kalimat, tetapi harus membaca dan memahami teks yang panjang dan kompleks, lalu menjawab pertanyaan atau membuat ringkasan berdasarkan pemahaman mendalam tersebut.

Proyek ini menegaskan otoritas para peneliti Indonesia di kancah global. Mereka tidak hanya menjadi konsumen teknologi kecerdasan buatan, tetapi juga menjadi kontributor aktif yang membentuk arah pengembangannya.

Dengan LoraxBench, mereka memberikan alat yang konkret bagi para pengembang LLM di seluruh dunia untuk mengukur sejauh mana model mereka benar-benar cerdas dan tidak hanya hafal. Ini adalah langkah krusial untuk memastikan bahwa kemajuan teknologi tidak meninggalkan warisan budaya dan linguistik kita.

Membongkar Cara Kerja LoraxBench Ujian Sulit untuk Para LLM

Jadi, apa yang membuat LoraxBench begitu istimewa dan berbeda dari alat uji AI lainnya? Jawabannya terletak pada fokus dan metodologinya yang unik. LoraxBench tidak memberikan soal pilihan ganda yang sederhana.

Sebaliknya, ia menyajikan tantangan yang memaksa LLM untuk benar-benar berpikir dan melakukan penalaran AI yang canggih, semuanya dalam konteks bahasa Bugis dan bahasa Sunda.

Fokus pada Penalaran Bukan Sekadar Terjemahan

Bayangkan perbedaan antara meminta seseorang menerjemahkan resep masakan dengan memintanya menjelaskan mengapa kombinasi bumbu tertentu bisa menghasilkan rasa yang lezat.

Tugas pertama hanya butuh kemampuan bahasa, sedangkan tugas kedua butuh pemahaman dan penalaran. Inilah prinsip kerja LoraxBench. Benchmark ini tidak tertarik pada kemampuan LLM menerjemahkan "siapa namamu?" ke dalam bahasa Sunda. Sebaliknya, ia menguji apakah sebuah model kecerdasan buatan bisa membaca sebuah cerita rakyat Sunda yang panjang, lalu mengidentifikasi tema moral utama dan karakter protagonisnya. Ini adalah level pemahaman yang jauh lebih tinggi dan menjadi cerminan sejati dari kecerdasan.

Tugas-Tugas yang Menguji Logika

LoraxBench menyajikan serangkaian tugas yang dirancang untuk menguji berbagai aspek penalaran AI dalam konteks yang panjang. Beberapa contoh tugasnya meliputi:

• Menjawab Pertanyaan Berdasarkan Dokumen (Document Question-Answering): LLM diberi sebuah teks panjang, misalnya artikel sejarah tentang kerajaan di Sulawesi dalam bahasa Bugis. Kemudian, ia harus menjawab pertanyaan spesifik yang jawabannya tersembunyi di dalam teks tersebut. Tugas ini menguji kemampuan AI untuk mencari, mengidentifikasi, dan mengekstrak informasi relevan.


• Pencarian Informasi (Information Retrieval): Dalam tugas ini, AI dihadapkan pada beberapa dokumen. Ia harus menentukan dokumen mana yang paling relevan untuk menjawab sebuah pertanyaan. Ini mirip seperti cara kerja mesin pencari, tetapi dalam skala mikro dan dalam bahasa daerah.


• Pembuatan Ringkasan (Summarization): LLM diminta untuk membaca naskah yang panjang dan membuat ringkasan singkat yang menangkap semua poin penting. Ini menguji kemampuannya untuk memahami ide utama dan membedakannya dari detail pendukung.

Semua tugas ini sengaja dirancang dengan konteks yang panjang, memaksa LLM untuk memproses dan mengingat informasi dalam jumlah besar, sebuah tantangan signifikan bahkan untuk model tercanggih sekalipun.

Mengapa Bahasa Bugis dan Sunda?

Pemilihan bahasa Bugis dan bahasa Sunda bukanlah tanpa alasan. Keduanya mewakili tantangan yang berbeda namun sama-sama penting bagi pengembangan kecerdasan buatan yang inklusif.

• Bahasa Sunda: Meskipun memiliki puluhan juta penutur dan menjadi salah satu bahasa daerah terbesar di Indonesia, representasinya di dunia digital masih sangat kurang. Ini menjadikannya contoh sempurna dari bahasa sumber daya rendah dengan jumlah penutur yang tinggi. Menguji LLM dengan bahasa Sunda adalah cara untuk melihat seberapa baik AI bisa melayani populasi besar yang selama ini terabaikan.


• Bahasa Bugis: Tantangannya lebih kompleks. Selain minimnya data digital, bahasa Bugis memiliki sistem penulisannya sendiri, yaitu aksara Lontara. Ini menambah satu lapisan kesulitan lagi bagi model kecerdasan buatan yang mayoritas dilatih menggunakan aksara Latin. Kemampuan memproses aksara Lontara menunjukkan fleksibilitas dan adaptabilitas sejati dari sebuah LLM.

Dengan memilih kedua bahasa ini, tim LoraxBench berhasil menciptakan sebuah ujian komprehensif yang tidak hanya mengukur performa penalaran AI, tetapi juga kemampuannya beradaptasi dengan keragaman linguistik dan aksara. Ini adalah sebuah stress test yang sangat dibutuhkan oleh industri kecerdasan buatan.

Hasil yang Mengejutkan Apa Kata Data?

Hasil pengujian menggunakan LoraxBench memberikan sebuah tamparan realitas bagi dunia kecerdasan buatan.

Model-model LLM ternama dunia, yang dielu-elukan karena kemampuannya yang luar biasa dalam bahasa Inggris, ternyata menunjukkan penurunan performa yang sangat signifikan ketika dihadapkan pada tugas penalaran AI dalam bahasa Bugis dan bahasa Sunda. Data yang disajikan dalam studi LoraxBench menunjukkan adanya kesenjangan performa yang besar antara bahasa sumber daya tinggi (seperti Inggris) dan bahasa sumber daya rendah.

Secara spesifik, ditemukan bahwa semakin kompleks tugas penalaran yang diberikan, semakin jauh pula performa LLM dari standar yang diharapkan.

Misalnya, dalam tugas meringkas cerita panjang dalam bahasa Sunda, banyak LLM menghasilkan ringkasan yang tidak koheren, kehilangan poin utama, atau bahkan mencampuradukkan informasi. Hal yang sama terjadi pada bahasa Bugis, di mana AI seringkali gagal memahami konteks kalimat yang menggunakan struktur gramatikal yang unik. Ini membuktikan bahwa kemampuan mereka saat ini lebih mirip seperti penghafal pola ketimbang pemikir yang sesungguhnya. Mereka hebat dalam mereplikasi pola yang sering mereka lihat dalam data pelatihan (yaitu teks berbahasa Inggris), tetapi kesulitan saat harus bernalar menggunakan pola yang jarang ditemui.

Temuan ini sangat krusial. Ini menunjukkan bahwa klaim tentang kecerdasan umum buatan (Artificial General Intelligence) mungkin masih terlalu dini.

Sebuah sistem kecerdasan buatan tidak bisa dianggap benar-benar cerdas jika kecerdasannya hanya berlaku untuk sebagian kecil dari total bahasa yang ada di dunia. Studi dari LoraxBench ini menjadi bukti nyata bahwa jalan menuju AI yang benar-benar global dan inklusif masih panjang. Para pengembang tidak bisa lagi hanya berfokus pada penambahan parameter atau data berbahasa Inggris. Mereka harus secara aktif mencari, mengumpulkan, dan menggunakan data dari bahasa daerah untuk melatih model mereka. Tanpa upaya ini, LLM akan tetap menjadi teknologi yang eksklusif dan gagal melayani keragaman umat manusia.

Lebih dari Sekadar Benchmark Dampak Nyata LoraxBench

Kehadiran LoraxBench memiliki implikasi yang jauh melampaui sekadar laporan riset akademis.

Inisiatif ini berpotensi memicu gelombang perubahan positif dalam pengembangan dan pemanfaatan teknologi kecerdasan buatan, khususnya di Indonesia dan negara-negara dengan keragaman bahasa yang tinggi.

Mendorong AI yang Lebih Inklusif

LoraxBench bertindak sebagai alarm pengingat bagi raksasa teknologi global.

Dengan adanya alat ukur yang objektif, pengembang LLM tidak bisa lagi mengabaikan performa model mereka pada bahasa daerah. Hal ini akan mendorong mereka untuk berinvestasi lebih serius dalam pengumpulan data bahasa Sunda, bahasa Bugis, dan ratusan bahasa lainnya. Pada akhirnya, ini akan menghasilkan produk kecerdasan buatan yang lebih adil, merata, dan dapat diakses oleh semua orang, bukan hanya mereka yang fasih berbahasa Inggris. Ini adalah langkah penting menuju demokratisasi teknologi, di mana manfaat AI bisa dirasakan oleh komunitas-komunitas lokal dalam bahasa ibu mereka.

Peluang bagi Talenta Digital Indonesia

Proyek seperti LoraxBench membuka pintu lebar bagi para ahli bahasa, ilmuwan data, dan insinyur perangkat lunak di Indonesia.

Kebutuhan akan data bahasa daerah yang berkualitas tinggi menciptakan lapangan pekerjaan dan bidang keahlian baru. Para linguis lokal bisa berkolaborasi dengan perusahaan teknologi untuk membangun korpus data, sementara para programmer bisa fokus mengembangkan model LLM yang dioptimalkan untuk bahasa-bahasa di Indonesia. Ini adalah kesempatan emas untuk menunjukkan bahwa talenta Indonesia mampu bersaing dan memberikan kontribusi unik di panggung teknologi global. Inisiatif ini membuktikan bahwa pemahaman mendalam tentang konteks lokal adalah aset yang sangat berharga di era kecerdasan buatan.

Menjaga Warisan Budaya Digital

Setiap bahasa adalah jendela menuju sebuah kebudayaan. Ketika sebuah bahasa terpinggirkan di dunia digital, kita berisiko kehilangan akses terhadap pengetahuan, cerita, dan kearifan lokal yang terkandung di dalamnya. Upaya untuk membuat bahasa daerah seperti bahasa Bugis dan bahasa Sunda dipahami oleh LLM adalah bentuk pelestarian budaya di abad ke-21. Seperti yang dijelaskan dalam artikel The Conversation tentang peran AI dalam menyelamatkan bahasa, teknologi ini bisa digunakan untuk mendokumentasikan, menganalisis, dan bahkan merevitalisasi bahasa yang terancam punah. Dengan mengintegrasikan bahasa daerah ke dalam teknologi arus utama seperti kecerdasan buatan, kita memastikan bahwa warisan leluhur kita tidak hanya tersimpan di museum, tetapi tetap hidup, relevan, dan diakses oleh generasi mendatang.

Lanskap teknologi kecerdasan buatan terus berkembang dengan sangat cepat. Hasil dan kemampuan model yang dibahas di sini mungkin berubah seiring waktu dengan munculnya data pelatihan baru dan arsitektur model yang lebih canggih.

Inisiatif seperti LoraxBench adalah bagian penting dari proses evolusi ini, mendorong batas-batas dari apa yang mungkin dan memastikan pengembangan yang lebih merata. Ia adalah bukti bahwa untuk membangun masa depan teknologi yang cerdas, kita tidak boleh melupakan kekayaan masa lalu kita. Perjuangan untuk penalaran AI yang sejati adalah perjuangan untuk representasi, dan LoraxBench telah menyalakan obor bagi bahasa-bahasa Nusantara untuk menerangi jalan ke depan.