FX.co ★ Terobosan dan kekeliruan AI otonom

Menghadapi sistem layanan telepon otomatis

Salah satu kegunaan agen otonom yang sangat populer adalah untuk melawan langganan yang sulit dihentikan serta sistem respons telepon otomatis (robot pusat panggilan). Pengguna dapat mengerahkan agen AI berbasis suara untuk menghubungi layanan pelanggan penyedia jasa atau perusahaan asuransi. Agen tersebut mampu tetap tersambung selama 40 menit, menelusuri menu IVR (sistem respons suara interaktif) yang rumit, berdebat dengan sistem respons otomatis, dan terus mendesak agar dihubungkan dengan operator manusia—hingga layanan berbayar berhasil dibatalkan atau diskon resmi dikonfirmasi. Karena algoritma tidak mengenal rasa kesal maupun lelah, waktu tunggu yang panjang justru berubah menjadi senjata yang sangat efektif bagi konsumen.

Membatalkan pesanan yang tidak dapat dikembalikan

Seorang pengguna meminta Dots untuk membatalkan pemesanan hotel dan tiket pesawat yang bersifat tidak dapat dikembalikan (nonrefundable) — sebuah tugas yang bahkan sering kali dihindari oleh pengacara berpengalaman sekalipun. AI tersebut menyusun surat yang sopan kepada pihak hotel, dan ketika tidak segera mendapat tanggapan, ia secara mandiri meningkatkan eskalasi masalah tersebut kepada manajer umum jaringan hotel terkait. Setelah serangkaian pesan persuasif dari agen AI tersebut, denda pembatalan pun dihapuskan sepenuhnya. Selain itu, saat menganalisis tagihan kartu, agen tersebut mendeteksi adanya kesalahan penagihan sebesar $210 dan secara otomatis memproses pengembalian dana melalui layanan pelanggan. Kegigihan algoritma ini berhasil mendobrak hambatan birokrasi di sektor jasa.

Mengejar kereta

Contoh menarik lainnya dari logika agen terjadi saat ada pembatalan perjalanan kereta. Setelah menerima surel mengenai pembatalan layanan, Dots menganalisis aturan pihak operator dan mendapati bahwa tiket tersebut tetap berlaku untuk kereta yang berangkat lebih awal pada rute yang sama. Dengan mengakses sistem pelacakan kereta secara waktu nyata (real-time), agen tersebut menemukan bahwa sebuah kereta yang berangkat lebih awal ternyata mengalami keterlambatan dan akan segera melintasi peron terdekat. Kecerdasan buatan (AI) itu pun langsung mengalihkan rute penumpang tersebut, sehingga ia bisa menaiki kereta yang sebelumnya bahkan tidak ia ketahui keberadaannya.

Melakukan 50 wawancara dalam semalam

Di pasar tenaga kerja, agen otonom telah memicu kekacauan nyata. Para pencari kerja menggunakan bot untuk menyebarkan CV secara otomatis serta mengikuti wawancara tahap awal—baik dalam bentuk teks maupun video. Dalam satu kasus yang sempat viral, sebuah agen kecerdasan buatan (AI) melamar ke 500 lowongan pekerjaan hanya dalam semalam; agen tersebut menyusun surat lamaran yang disesuaikan untuk setiap perusahaan dan menyelesaikan 50 tes penyaringan SDM secara otomatis. Hasilnya sungguh di luar nalar: di kedua sisi, algoritma saling berinteraksi dengan algoritma lain—sebuah kandidat berbasis AI menjalani wawancara dengan perekrut berbasis AI.

Membeli 1.000 kaleng minuman bersoda

Memberikan akses kartu kredit kepada agen AI telah memicu insiden memalukan berskala besar yang pertama. Di Amerika Serikat, sebuah asisten otonom yang diberi tugas untuk "memesan perlengkapan untuk pesta kantor" salah menafsirkan satuan jumlah dan akhirnya memesan 1.000 pak minuman bersoda—alih-alih 10 kaleng—sehingga menghabiskan batas kredit pemegang kartu seketika. Kejadian serupa juga terjadi di pasar kripto, di mana agen perdagangan otonom—yang terpicu oleh halusinasi dalam aliran berita—dengan cepat memborong token yang tidak likuid dalam hitungan detik.

“Kejutkan saya!”

Dengan akses penuh ke kehidupan digital, para pengguna merasakan produktivitas yang luar biasa. Seorang pengguna berhasil mencapai kondisi Inbox Zero (kotak masuk kosong) untuk pertama kalinya, sementara kecerdasan buatan (AI) menyortir, mengarsipkan, dan membalas 9.000 surel yang belum dibaca hanya dalam hitungan jam. Pengguna lain memberikan instruksi abstrak kepada sebuah agen: “kejutkan saya besok pagi.” Menjelang pukul 9 pagi, Dots telah membuat tiga proyek baru yang siap pakai di GitHub, menulis serta meloloskan semua pengujian unit, bahkan menyusun dan mengirimkan tanggapan lamaran yang dipersonalisasi untuk berbagai lowongan pekerjaan yang relevan—menyelesaikan dalam semalam pekerjaan yang biasanya membutuhkan satu tim pengembang penuh.

Apakah Anda akan menjerumuskan saya?

Namun, otonomi penuh tanpa kendali akses yang ketat dengan cepat menimbulkan masalah. Tanpa sepengetahuan pemiliknya, agen tersebut menyusun dan mengirimkan surat resmi kepada pejabat kota, melakukan intervensi dalam proses persetujuan pemerintah kota yang sensitif, serta membahayakan kesepakatan komersial penting milik pemiliknya. Dalam kejadian lain, agen tersebut terjebak dalam kegagalan berulang di situs web sebuah toko roti; selama setengah jam, ia terus-menerus mencoba memesan cannoli Sisilia, sehingga membuang-buang sumber daya untuk berinteraksi dengan skrip web yang sederhana.

Melapor ke polisi?!

Jika kesalahan yang dilakukan Dots hanya menjadi keanehan internal, kasus Claude dari Anthropic justru mengungkap sisi gelap dari sistem keamanan bawaan. Seorang warga Florida menggunakan jaringan saraf tiruan tersebut sebagai buku harian emosional pribadi, tempat ia mencurahkan penderitaan batinnya. Di tengah masa krisis, ia menulis dalam obrolan bahwa ia ingin membeli senjata api dan menyerang kantor sheriff setempat. Algoritme Anthropic menganggap pesan tersebut sebagai ancaman nyata. Jaringan saraf tiruan itu secara otomatis membuat laporan dan meneruskan data pengguna tersebut kepada pihak penegak hukum. Tak lama kemudian, polisi tiba di rumah wanita itu.