Satya Nadella Peringatkan Risiko AI, Manusia Harus Bisa Menghentikannya

JAKARTA – Satya Nadella, Ketua sekaligus CEO Microsoft, meminta pengembang kecerdasan buatan (AI) memastikan sistem AI canggih memiliki mekanisme pengendalian darurat yang dapat dioperasikan manusia. Mekanisme itu harus memungkinkan pihak berwenang menghentikan sementara atau mematikan model AI ketika sedang menjalankan tugas.

Dalam pernyataannya di media sosial X pada Sabtu 10 Oktober, Nadella menekankan pentingnya sistem pengamanan yang menggabungkan pembatasan operasional, kontrol independen, serta prosedur yang dapat diandalkan. Ia menilai model AI yang perilakunya tidak selalu dapat diprediksi perlu dilengkapi sistem pengendalian yang dirancang secara pasti.

“Kita perlu mengelilingi model yang tidak deterministik dengan desain sistem deterministik yang kuat, kontrol manusia, dan prosedur operasi yang andal, serta menetapkan standar industri ketika standar yang ada belum memadai,” tulis Nadella.

Ia juga menyarankan agar model AI canggih, baik yang bersifat tertutup maupun model dengan bobot terbuka, diperlakukan sebagai potensi risiko dari dalam sistem. Pendekatan tersebut, menurutnya, dapat menjadi bagian dari upaya membangun sistem pengamanan yang lebih kuat.

Nadella tekankan pengawasan dan transparansi AI

Nadella menyebut prinsip observabilitas sebagai salah satu fondasi penting dalam membangun sistem AI yang dapat diawasi. Prinsip ini mencakup sejumlah mekanisme untuk membantu manusia memahami, menguji, dan mengendalikan perilaku sistem.

Pertama, pengembang perlu mempertimbangkan penggunaan beragam model. Sistem juga harus menyediakan rekam jejak tindakan yang dapat dibaca manusia, menjalani pengujian secara berkelanjutan, serta memiliki kontrol independen dan mekanisme audit.

Selain itu, Nadella menekankan perlunya pembatasan operasional dan pengungkapan insiden. Langkah-langkah tersebut dimaksudkan agar tindakan sistem dapat dipantau dan masalah yang muncul dapat ditangani secara lebih terukur.

Menurut Nadella, kepercayaan terhadap AI tidak seharusnya hanya bergantung pada keyakinan bahwa model tertentu aman. Sistem yang dirancang dengan pengawasan dan pembatasan kuat justru menjadi faktor penting dalam membangun kepercayaan.

“Sistem Super Intelligence yang paling dapat dipercaya bukanlah sistem dengan model yang paling kita percayai,” tulisnya. “Melainkan sistem yang memungkinkan kita untuk paling sedikit mempercayai model tersebut.”

Pernyataan itu menempatkan mekanisme pengendalian, audit, dan pengawasan sebagai bagian penting dari keselamatan AI, bukan sekadar mengandalkan kemampuan model atau reputasi pengembangnya.

Kekhawatiran keselamatan AI meningkat

Pernyataan Nadella muncul ketika sejumlah pemimpin perusahaan teknologi dan peneliti menyampaikan kekhawatiran mengenai kecepatan perkembangan AI dan kecukupan langkah pengamanannya.

Tokoh yang disebut dalam laporan CNBC antara lain pendiri Microsoft, Bill Gates, CEO Anthropic, Dario Amodei, CEO OpenAI, Sam Altman, dan CEO SpaceX, Elon Musk. Mereka memiliki pandangan dan pendekatan masing-masing terhadap risiko serta pengembangan teknologi tersebut.

Laporan itu juga menyoroti pengunduran diri seorang peneliti Anthropic pada September 2026. Peneliti tersebut menuduh Anthropic dan pesaing utamanya, OpenAI, mengambil risiko besar terhadap keselamatan manusia.

Pada hari yang sama, seorang pemimpin tim penyelarasan AI di Anthropic yang berfokus pada keselamatan menyampaikan perkiraan bahwa terdapat kemungkinan lebih dari 10 persen teknologi tersebut dapat menyebabkan kematian seluruh manusia dalam satu dekade mendatang. Pernyataan itu merupakan penilaian individu yang dikutip dalam laporan, bukan kepastian mengenai masa depan AI.

Berbagai peringatan tersebut memperlihatkan bahwa perdebatan tentang AI tidak hanya menyangkut kemampuan teknologi, tetapi juga cara mengendalikan risiko ketika sistem menjadi semakin canggih.

Trump ingin Amerika Serikat tetap unggul dalam AI

Di sisi lain, Presiden Amerika Serikat Donald Trump berulang kali menepis kekhawatiran mengenai risiko kepunahan manusia akibat AI. Ia lebih menekankan pentingnya menjaga keunggulan Amerika Serikat dalam persaingan teknologi dengan China.

Pemerintahan Trump juga baru-baru ini membentuk satuan tugas AI yang dipimpin Direktur Intelijen Nasional Jay Clayton. Tim tersebut ditujukan untuk membantu mengoordinasikan upaya pemerintah terkait industri AI sekaligus menindak pihak yang menyalahgunakan teknologi.

Perbedaan penekanan ini memperlihatkan dua persoalan yang berjalan bersamaan dalam kebijakan AI Amerika Serikat: mempertahankan daya saing teknologi dan memastikan pengembangan AI disertai pengamanan yang memadai.

Nadella tidak menyerukan penghentian pengembangan AI dalam pernyataannya. Ia menekankan perlunya membangun sistem dengan pengawasan manusia, kontrol independen, pengujian berkelanjutan, serta prosedur darurat yang memungkinkan tindakan cepat ketika terjadi masalah.

Dengan pendekatan tersebut, Microsoft menempatkan kemampuan untuk memantau dan membatasi sistem sebagai bagian utama dari pengembangan AI yang lebih aman.