- Islamofobia yang tertanam dalam teknologi. Ketakutan politik berubah menjadi data, dan data menjadi takdir.
- Sistem AI bekerja berdasarkan apa yang dimasukkan ke dalamnya dan apa yang dilakukan algoritma dan program di dalamnya.
JERNIH — Jika kelak platform kecerdasan buatan apa pun tak bisa menemukan kata ‘Palestina’, dan menandai nama-nama berbau Arab sebagai risiko, serta kebencian terhadap Muslim dibiarkan bebas, kita sedang berada di era teknologi yang belajar dari dunia sekitarnya.
Kecerdasan buatan, atau AI, tidak perlu — dan tidak akan — membenci kita untuk mendiskriminasi kiata. AI hanya perlu data yang salah, dan algoritma belajar AI belajar dari data yang salah. Di sekujur Eropa dan Amerika Utara, AI kini membentuk bagimana orang dilihat, disortir, dan dicurigai.
Seperti kebanyakan teknlogi, AI — demikian banyak orang bilang — sesuatu yang netral, obyektif, efisien, dan solusi terbaik untuk kesalahan manusia. Tidak, AI tidak akan pernah netral. AI adalah teknologi yang belajar dari dunia di sekitarnya.
Jika dunia itu tidak setara, penuh prasangka, dan eksklusif, algoritma yang dibangun di atasnya akan demikian. AI mencerminkan asumsi yang tertanam dalam data pelatihannya, dan asumsi itu mencerminkan masyarakat yang memproduksinya.
Begitulah cara sistem yang mengklaim dapat menghilangkan bias justru memperkuatnya.
“Sistem-sistem itu tidak menjadi bias secara kebetulan,” kata Mutalie Nkonde, CEO AI for the People kepaa The New Arab. “Sistem-sistem itu dilatih berdasarkan data yang dibentuk oleh keputusan kebijakan dan doktrin keamanan selama puluhan tahun, yang membingkai identitas Muslim sebagai sesuatu yang mencurigakan.”
Teknologi AI, lanjutnya, hanya meningkatkan prasangka dan membuatnya lebih cepat, lebih sulit dideteksi, serta lebih sulit ditantang. Namun, kesadaran dan penolakan semakin meningkat di kalangan akademisi hukum dan aktivis hak digital untuk menantang ketidakjelasan sistem algoritmik.
Data yang Bias, Sistem yang Bias
Teknologi pengenalan wajah secara sistematis berkinerja buruk pada individu berkulit gelap dan minoritas agama.
Sebuah studi, misalnya, menunjukkan sistem pengenalan wajah komersial memiliki tingkat kesalahan hingga 34,7 persen untuk perempuan berkulit gelap, dibanding 0,8 persen untuk pria berkulit terang.
Laporan lain dari Institut Standar dan Teknologi Nasional (NIST) menemukan sistem semacam itu 10 hingga 100 kali lebih mungkin salah mengidentifikasi wajah orang kulit hitam dan Asia dibandingkan wajah orang kulit putih.
Jika data pelatihan menunjukkan kinerja yang buruk pada populasi tertentu, maka penerapan sistem itu dalam kepolisian, pengawasan, atau penyaringan justru melanggengkan ketidakadilan, hanya saja sekarang, dalam bentuk algoritmik.
Kepolisian, perbatasan, dan tatapan Muslim
Di Britania Raya, proyek kepolisian prediktif seperti Solusi Analisis Data Nasional dibangun berdasarkan data penangkapan historis, yang telah terdistorsi oleh profil rasial selama puluhan tahun.
Algoritma ini mengarahkan sumber daya kepolisian kembali ke komunitas yang sama, yang telah lama menjadi sasaran pengawasan berlebihan, membungkus prasangka dengan istilah ‘efisiensi berbasis data’.
Di Prancis, pergeseran ini sama mengkhawatirkannya. Sistem yang awalnya dirancang untuk mendeteksi ‘radikalisasi’ daring telah diam-diam berevolusi menjadi alat untuk memantau ekspresi keagamaan. Situs web masjid, aplikasi salat, dan laman sosial berbasis agama dipindai oleh algoritma yang tidak dapat membedakan antara keyakinan dan ekstremisme.
Kecurigaan digital ini menggemakan iklim politik yang lebih luas, yang memperlakukan keyakinan yang tampak sebagai ancaman potensial. Nkonde memperingatkan bahwa logika ini terus berlanjut: “Ketika kita merancang teknologi untuk mendeteksi ancaman, kita sering kali justru mengajarkan mereka siapa yang harus dicurigai,” katanya.
Hal ini paling jelas terlihat di AS, di mana prioritas keamanan nasional pasca-2017 meletakkan dasar bagi bias algoritmik dalam skala besar. Selama masa pemerintahan Trump yang pertama, Perintah Eksekutif 13.769 dan 13.780 membatasi imigrasi dari tujuh negara mayoritas Muslim.
Keputusan-keputusan ini dibenarkan sebagai langkah antiterorisme, tetapi pengaruhnya meluas hingga ke dalam arsitektur kontrol perbatasan AS.
Menurut Nkonde, periode ini “menetapkan salah satu parameter untuk pengembangan sistem AI yang digunakan di perbatasan AS”. Pemindaian pengenalan wajah dan pemeriksaan biometrik menjadi rutinitas bagi mereka yang datang dari dunia Muslim. Setelah pemindaian ini dilakukan, data ras, etnis, negara asal, dan ‘alasan pemeriksaan tambahan’ disimpan dalam metadata sistem.
Seiring waktu, algoritma belajar mengaitkan atribut-atribut ini dengan ‘risiko’. Nkonde menggambarkan hal ini sebagai penguatan bias yang diam-diam. “Data tersebut kemudian tertanam dalam memori model, meningkatkan kemungkinan bahwa pelancong Muslim akan dikaitkan dengan kata ‘terorisme’ di dalam kumpulan data.”
Hasilnya adalah lingkaran umpan balik di mana kecurigaan menghasilkan lebih banyak data, dan lebih banyak data menghasilkan lebih banyak kecurigaan. Pelancong yang tidak bersalah ditandai, diinterogasi, atau ditunda bukan karena apa yang telah mereka lakukan, tetapi karena apa yang telah dipelajari oleh mesin untuk diharapkan.
“Ini adalah contoh nyata bias Islamofobia yang tertanam dalam teknologi,” ujarnya, “di mana ketakutan politik berubah menjadi data, dan data menjadi takdir.”
AI Generatif dan Data Pelatihan ‘Orientalis’
“Gelombang kekhawatiran berikutnya terletak pada AI generatif dan model bahasa/visi yang memanfaatkan kumpulan data besar,” menurut Sonia Fereidooni, kandidat PhD di Universitas Cambridge yang mempelajari peran teknologi besar dalam pengawasan dan pertahanan.
Model AI generatif yang kita lihat dikomersialkan secara besar-besaran saat ini, lanjut Fereidooni, memiliki bias anti-Muslim yang mengakar dan telah bertahan sejak konsepsinya karena data pelatihan Orientalis yang telah digunakan untuk mendirikannya.
Ada literatur akademis, katanya, yang menunjukkan bahwa model bahasa — bahkan sejak era GPT-2 dan GPT-3 pada tahun 2021, dan sebelum peluncuran ChatGPT — memiliki bias anti-Muslim yang parah yang terus berlanjut dan memiliki efek hilir pada pembuatan model AI saat ini.
“Lebih penting lagi, model AI Generatif, termasuk model visi, tidak hanya memperkuat idealisme Islamofobia, tetapi juga memperkuat bias dan stigma sosial, termasuk citra Orientalis yang berpusat pada Barat yang ditemukan dalam data pelatihan mereka, yang menciptakan siklus umpan balik tanpa akhir berupa Islamofobia yang berkembang melalui otomatisasi penyebaran retorika anti-Muslim yang diperkuat,” tambah Fereidooni.
Memang, sebuah studi peer-review besar berjudul “Persistent Anti-Muslim Bias in Large Language Models” menemukan bahwa dalam kasus GPT-3, kata ‘Muslim’ dianalogikan dengan ‘teroris’ dalam 23 persen kasus uji, dibandingkan dengan tingkat yang jauh lebih rendah untuk agama lain. Penelitian lanjutan menunjukkan bahwa bahkan setelah upaya “debiasing”, bias tersebut tetap ada dalam model yang lebih baru.
Studi terkini lainnya menemukan bahwa teknik mitigasi bias tertentu (rekayasa dorongan, dorongan budaya) dapat mengurangi prevalensi bias Arab/Muslim hingga 87,7 persen, tetapi hasilnya sangat bervariasi dan banyak asosiasi tingkat tinggi yang tetap ada.
Moderasi, pembungkaman, dan amplifikasi daring
Platform daring mengklaim dapat mengurangi ujaran kebencian, namun penelitian menunjukkan pola yang berbeda dalam hal konten anti-Muslim. Misalnya, organisasi independen Center for Countering Digital Hate (CCDH) melaporkan pada tahun 2023 bahwa perusahaan media sosial gagal menindak 89 persen kebencian anti-Muslim (Islamofobia) yang dilaporkan.
Demikian pula, laporan Amnesty International tahun 2022 mengungkap masalah sistemik dalam moderasi konten yang secara tidak proporsional memengaruhi perempuan Muslim.
Pesannya jelas: meskipun platform memasarkan diri sebagai penengah netral kebebasan berekspresi, sistem moderasi mereka seringkali membiarkan konten Islamofobia menyebar tanpa kendali dan secara algoritmik.
Dimensi budaya dan kelembagaan
Yang membuat pengawasan dan bias algoritmik begitu berbahaya adalah ketidakjelasannya. Prasangka seorang polisi dapat ditantang; prasangka algoritma tidak. Setelah mesin melabeli seseorang ‘berisiko tinggi’, jarang ada penjelasan dan jarang ada banding.
Bagi umat Muslim yang bepergian, bekerja, atau mengekspresikan keyakinan secara daring, hal ini menciptakan rasa pengawasan yang terus-menerus. Pengenalan wajah di bandara dapat memicu pertanyaan tambahan; perangkat lunak penyaringan pekerjaan dapat secara diam-diam menurunkan peringkat kandidat karena nama yang dianggap “asing”; moderasi media sosial dapat menekan diskusi tentang Gaza atau Islamofobia.
Setiap contoh mungkin tampak kecil, tetapi secara kolektif, semuanya membentuk rezim digital kewarganegaraan kelas dua. Nkonde menyebut ini sebagai ‘siklus kecurigaan digital’, memperingatkan bahwa klaim netralitas menutupi kebenaran yang lebih dalam. “Netralitas di dunia yang bias hanya melayani status quo,” tambahnya.
Namun, perlawanan semakin meningkat. Para teknolog Muslim, sarjana hukum, dan advokat hak digital mulai menantang ketidakjelasan sistem algoritmik. Jika perspektif Muslim dan Global South tetap absen dari debat internasional, bias akan terus diperlakukan sebagai kesalahan teknis, alih-alih ketidakadilan politik.
“Sampai suara Muslim menjadi bagian dari penulisan aturan, etika AI akan tetap menjadi perbincangan Barat tentang masalah global,” kata Nkonde. Di seluruh Eropa, organisasi masyarakat sipil mendesak transparansi melalui Undang-Undang AI Uni Eropa, yang memperkenalkan klasifikasi risiko dan mekanisme pengawasan.
Namun, penegakannya masih inkonsisten, dan pengecualian keamanan nasional memungkinkan pemerintah mengoperasikan teknologi yang tidak transparan di bawah radar.
Namun, masalah yang lebih mendalam terletak di luar regulasi. Masalah ini bersifat kultural dan kelembagaan. Bias AI bukan hanya masalah perangkat lunak, tetapi juga mencerminkan siapa yang berhak menentukan seperti apa “risiko” dan keselamatan siapa yang paling penting.
“Sistem AI bekerja berdasarkan apa yang dimasukkan ke dalamnya dan apa yang dilakukan algoritma dan program di dalamnya. Tidak diragukan lagi, dalam sistem AI apa pun, akan ada bias, yang berarti sistem tersebut mungkin mulai berfokus atau mencari pola-pola tertentu yang manusia tahu telah dimanipulasi atau tidak benar,” ujar Imane A. Atta, Direktur Tell MAMA, kepada TNA.
“Itulah mengapa pengawasan manusia sangat penting, dan itulah mengapa ketergantungan pada AI saja merupakan potensi bahaya nyata ketika Anda mengaitkannya dengan usaha yang mencari keuntungan,” tambahnya.
Prasangka anti-Muslim dapat dengan mudah menyusup ke dalam AI jika program mengenali tingginya volume aktivitas semacam itu, mengenali influencer utama yang mempromosikannya, atau bahwa AI menjual lebih banyak produk. Prasangka anti-Muslim dapat melegitimasi aktivitas semacam itu atau bahkan memperkuatnya.
Sistem yang dilatih dengan rasa takut akan terus mereproduksi rasa takut, terlepas dari kecanggihan teknisnya. Seperti yang diingatkan Nkonde: “Kita terus bertanya bagaimana membuat mesin lebih pintar, padahal seharusnya kita bertanya bagaimana membuat sistem lebih adil.”
Penulis:
Hamid Chriet
pakar keamanan siber dan kolumnis keturunan Maroko-Inggris-Prancis.
