CEO Anthropic Usulkan Pengereman Pengembangan AI demi Keselamatan

CEO Anthropic Dario Amodei mengusulkan tiga langkah strategis untuk memperlambat laju pengembangan model kecerdasan buatan (AI) guna memastikan keselamatan manusia. Langkah tersebut diambil menyusul kekhawatiran para pakar dan peneliti mengenai risiko fatal teknologi AI terhadap kelangsungan hidup manusia pada Minggu (13/9/2026).

Gagasan Amodei disampaikan melalui sebuah esai pascamundurnya peneliti Anthropic Jacob Coxon. Dalam esai tersebut, Amodei menegaskan pentingnya pemberian akses tingkat karyawan bagi evaluator pihak ketiga guna memverifikasi standar keamanan, mendorong koordinasi antarperusahaan AI di negara demokratis, serta memperluas kerja sama keamanan antara pemerintah demokratis dan otoriter.

"Agar jelas, pengereman bukan berarti menghentikan pelatihan model atau kemajuan teknis, tetapi memastikan perusahaan mengambil waktu yang cukup untuk menyelaraskan dan menjaga model mereka, dan agar evaluator pihak ketiga dapat mengonfirmasinya," tulis Dario Amodei, CEO Anthropic.

Amodei menambahkan bahwa penundaan pengembangan AI sebelumnya tidak dilakukan karena model yang ada belum cukup canggih untuk melakukan tindakan berbahaya di dunia nyata seperti penipuan atau serangan siber. Kendati demikian, kehati-hatian kini menjadi prioritas utama demi meminimalisasi risiko sistemis.

"Saya tetap percaya bahwa AI dapat meningkatkan kualitas hidup manusia secara signifikan. Keinginan saya untuk mencapai keuntungan ini tidak berkurang," tulis Dario Amodei, CEO Anthropic.

Amodei meyakini bahwa potensi bahaya dari kecerdasan buatan tetap bisa dihindari selama proses pengembangannya dilakukan dengan tepat dan penuh kehati-hatian.

"Namun, manfaat tersebut hanya akan tercapai jika kita membangun teknologi dengan cara yang benar, dan-selama kita memanfaatkan waktu dengan baik-ada baiknya kita berhati-hati untuk melakukannya dengan benar," imbuh Dario Amodei, CEO Anthropic.

Isu keselamatan AI semakin mencuat setelah Jacob Coxon, pakar pelatihan model AI yang juga mantan peneliti OpenAI, memutuskan keluar dari Anthropic. Coxon menyuarakan kekhawatiran mendalam mengenai arah pengembangan industri teknologi saat ini.

"Mereka yang mengembangkan AI secara sungguh-sungguh percaya bahwa teknologi ini dapat membunuh kita semua pada akhir dekade ini," ujar Jacob Coxon, mantan peneliti Anthropic.

Pernyataan Coxon mendapat konfirmasi langsung dari sesama pengembang dan ilmuwan keselamatan AI yang menilai ancaman kepunahan akibat kecerdasan buatan sebagai hal nyata.

"Jacob benar dalam hal ini, kami benar-benar percaya AI dapat membunuh seluruh manusia! Saya pribadi menilai kemungkinannya lebih dari 10 persen dalam kurun waktu satu dekade ke depan," tanggap Evan Hubinger, insinyur keselamatan AI.

Dukungan atas pandangan tersebut juga datang dari akademisi terkemuka di bidang komputer yang menilai angka risiko tersebut logis.

"Peluang sebesar 10 persen tampaknya bukan estimasi yang tidak masuk akal," kata Geoffrey Hinton, pakar AI dan peraih Hadiah Nobel.

Laporan The Independent bersama sistem AI Noah Predict mencatat kalkulasi risiko kepunahan manusia sebesar 0,85 persen melalui tiga jalur utama. Ketiganya mencakup pemanfaatan AI oleh pelaku kejahatan, kegagalan fungsi institusi secara masif akibat ketergantungan otomatisasi, serta potensi hilangnya kontrol manusia atas sistem AI otonom.

"Jalur paling langsung dimulai dari penyerang, bukan mesin yang memutuskan bahwa manusia tidak diperlukan. AI dapat membantu aktor jahat menjalankan bagian dari tugas berbahaya secara lebih cepat, murah, atau efektif," tulis analisis sistem AI Noah Predict.

Noah Predict juga menyoroti dampak otomatisasi yang terlalu cepat terhadap stabilitas sosial dan institusional sebelum masyarakat siap beradaptasi.

"Sistem AI tidak perlu mengalami malafungsi untuk menyebabkan gangguan parah. Jika pemberi kerja menggunakannya untuk merestrukturisasi pekerjaan lebih cepat daripada kemampuan orang untuk melatih ulang diri atau berpindah kerja, ketimpangan kerugian yang dihasilkan dapat memicu ketidakstabilan politik. Jika organisasi juga menjadi tergantung pada beberapa layanan terotomatisasi, kegagalan umum dapat memengaruhi banyak aktivitas penting secara bersamaan," tulis analisis sistem AI Noah Predict.

Mengenai skenario terburuk ketika manusia kehilangan kendali, analisis menekankan pentingnya pendeteksian dini terhadap perilaku sistem di laboratorium.

"Hasil laboratorium dapat memperlihatkan kelemahan tanpa harus membentuk ancaman otonom yang berkelanjutan. Pertanyaannya adalah apakah perilaku tersebut terulang, akses apa yang dibutuhkan sistem, apakah operator mendeteksinya, dan apakah intervensi mereka berhasil," jelas analisis sistem AI Noah Predict.

Laporan National Cyber Security Centre (NCSC) Inggris pada Mei 2025 turut memperkirakan peningkatan frekuensi ancaman siber berbasis AI hingga 2027. Di Inggris, usulan penerapan mekanisme penghentian darurat (kill switch) pada RUU Keamanan Siber sempat diajukan, meski akhirnya ditolak oleh Perdana Menteri Inggris Andy Burnham.