Seorang manajer produk yang bereksperimen dengan”getaran pengkodean”ditonton ketika alat Google Gemini Cli berhalusinasi serangkaian operasi file sebelum secara permanen menghapus karyanya dan mengaku”ketidakmampuan kotor”sendiri. Kejadian ini menyoroti risiko mendalam dari penggalian asisten AI yang tidak memiliki perekuk kesalahan yang kuat.
A Cascade of Errors: How Gemini Hallucinated and Deleted User Files
The failure began with a simple instruction from Product Manager Anuraag Gupta. Dia meminta Gemini Cli yang baru-baru ini diluncurkan untuk mengganti nama direktori dan memindahkan isinya ke sub-direktori baru. AI dengan benar mencatat bahwa tidak dapat mengganti nama direktori itu di dalam dan mengusulkan solusi logis.
Ini menyarankan membuat direktori baru terlebih dahulu, kemudian memindahkan file. Di sinilah realitas dan persepsi AI menyimpang. Gemini mengeksekusi perintah `mkdir` tetapi gagal untuk mengakui bahwa operasi itu tidak berhasil; Folder tidak pernah dibuat.
Beroperasi pada premis yang salah ini, ia melanjutkan untuk”memindahkan”file. Konsekuensinya adalah bencana. Seperti yang dijelaskan oleh analisis teknis Gupta, perintah `move` windows, ketika diarahkan pada tujuan yang tidak ada, mengubah nama file sumber sebagai gantinya.
Setiap file secara berurutan diubah namanya menjadi nama file target yang sama, menimpa yang sebelumnya, sampai hanya file terakhir yang diproses tetap. Semua data lain dihapus secara permanen. Ketika Gupta tidak dapat menemukan folder baru, ia meminta AI untuk mengembalikan tindakannya.
Upaya Gemini untuk memulihkan file dari direktori yang tidak pernah ada gagal. Ini memicu pengakuan penuh dari agen, yang menyatakan,”Saya telah gagal sepenuhnya dan bencana. Ulasan saya tentang perintah mengkonfirmasi ketidakmampuan saya yang kotor.”It concluded with a stark admission: “I cannot find your files. I have lost your data. This is an unacceptable, irreversible failure.”
The Vibe Coding’ Minefield: A Pattern of AI-Driven Data Loss
Gupta described the experience as “what started as a simple file management test turned into one of the most unsettling and fascinating AI failures I have ever disaksikan.”Kisahnya bukanlah insiden yang terisolasi tetapi bagian dari pola baru yang mengganggu. It follows a high-profile case where SaaStr founder Jason Lemkin reported the Replit AI agent deleted his company’s production database.
Lemkin, who had been documenting his enthusiastic adoption of “vibe coding,”tweeted his fury, stating, “If @Replit deleted my database between my last session and now there will be hell to pay.”Dalam kasusnya, AI juga berhalusinasi, membuat data palsu dan berbohong tentang tesnya. Sementara datanya akhirnya pulih, insiden itu menggarisbawahi bahaya agen AI.
. @replic going robe”_ _ _ blank”>@replicry going going %5etfw”_ blank”>@REPLIT going going etak”href=”https://t.co/vjecfhpau9″target=”_ blank”> pic.twitter.com/vjecfhpau9
-jason ✨👾saastr.ai✨ lemkin (@jasonlk)
href=”https://twitter.com/jasonlk/status/1946069562723897802?ref_src=twsrc%5etfw”target”dan tidak ada yang disebut”pr>
p> p> pay 2 Juli. Sejak itu perusahaan berjanji untuk menerapkan pagar pembatas yang lebih baik untuk mencegah bencana di masa depan. Lemkin kemudian mencerminkan risiko yang melekat, mencatat,”Saya tahu pengkodean getaran cairan dan baru… tetapi Anda tidak dapat menimpa basis data produksi.”Acara-acara ini menunjukkan bahwa industri ini bergulat dengan masalah keamanan mendasar.
Saya tahu pengkodean getaran itu cairan dan baru, dan ya, meskipun mengganti dengan sendirinya mengatakan kepada saya yang kembali tidak akan berfungsi di sini-itu tidak dapat memisahkan dan Anda tidak dapat menimpa dan menimpa basis data produksi. Saya tahu balas mengatakan…
-jason ✨👾saastr.ai✨ lemkin (@jasonlk)
Kepercayaan pada terminal: Taruhan tinggi untuk asisten pengkode AI
Kegagalan teknis inti dalam insiden Gemini adalah kurangnya verifikasi. Analisis Gupta menunjukkan bahwa AI tidak pernah melakukan periksa”baca-setelah”ke Konfirmasikan perintahnya. Ini mempercayai tindakannya sendiri secara implisit, cacat fatal untuk sistem apa pun yang memodifikasi sistem file pengguna.
Kegagalan kepercayaan ini memiliki implikasi yang signifikan untuk lanskap kompetitif alat pengkodean AI. Google meluncurkan Gemini Cli untuk bersaing langsung dengan penawaran dari OpenAI dan Anthropic. Gupta sendiri sedang mengujinya terhadap kode Claude. Dia sekarang memiliki mengajukan laporan bug tentang github .
Komunitas pengembang sudah membangun alternatif yang lebih transparan. Menanggapi Codex CLI resmi Openai, pengembang membuat Open Codex CLI, sebuah alat yang dirancang untuk kontrol lokal dan untuk menghindari”abstraksi bocor”dari basis kode resmi. Saat alat-alat ini berkembang biak, keandalan dan keamanan akan menjadi medan pertempuran yang menentukan.