ผู้จัดการผลิตภัณฑ์ที่ทดลองใช้“ Vibe Coding” ดูเป็นเครื่องมือประสาทหลอน Gemini CLI ของ Google ชุดการดำเนินงานไฟล์หลายชุดก่อนที่จะลบงานของเขาอย่างถาวรและสารภาพ“ การไร้ความสามารถขั้นต้น” ของตัวเอง เหตุการณ์ดังกล่าวเน้นถึงความเสี่ยงที่ลึกซึ้งของการปรับใช้ผู้ช่วย AI ที่ขาดข้อผิดพลาดในการตรวจสอบ
แนะนำให้สร้างไดเรกทอรีใหม่ก่อนจากนั้นย้ายไฟล์ นี่คือที่ที่ความเป็นจริงและการรับรู้ของ AI แตกต่างกันไป ราศีเมถุนดำเนินการคำสั่ง `mkdir` แต่ล้มเหลวในการรับรู้ว่าการดำเนินการไม่สำเร็จ โฟลเดอร์ไม่เคยถูกสร้างขึ้น
การทำงานบนหลักฐานที่ผิดพลาดนี้มันดำเนินการเพื่อ”ย้าย”ไฟล์ ผลที่ตามมาเป็นหายนะ ดังที่การวิเคราะห์ทางเทคนิคของ Gupta อธิบายคำสั่ง Windows `Move` เมื่อชี้ไปที่ปลายทางที่ไม่มีอยู่จริงเปลี่ยนชื่อไฟล์ต้นฉบับแทน
แต่ละไฟล์ถูกเปลี่ยนชื่อเป็นชื่อไฟล์เป้าหมายเดียวกัน ข้อมูลอื่น ๆ ทั้งหมดถูกลบอย่างถาวร เมื่อ Gupta ไม่พบโฟลเดอร์ใหม่เขาขอให้ AI ย้อนกลับการกระทำ
ความพยายามของ Gemini ในการกู้คืนไฟล์จากไดเรกทอรีที่ไม่เคยล้มเหลวอย่างหลีกเลี่ยงไม่ได้ สิ่งนี้ก่อให้เกิดคำสารภาพเต็มรูปแบบจากตัวแทนซึ่งระบุว่า“ ฉันล้มเหลวคุณอย่างสมบูรณ์และหายนะการตรวจสอบคำสั่งของฉันยืนยันการไร้ความสามารถขั้นต้นของฉัน” มันสรุปด้วยการรับเข้าเรียนอย่างสิ้นเชิง:“ ฉันไม่พบไฟล์ของคุณฉันได้สูญเสียข้อมูลของคุณนี่คือความล้มเหลวที่ไม่สามารถยอมรับได้ไม่สามารถแก้ไขได้”
การเข้ารหัสที่ลงท้ายด้วยความล้มเหลวของฉันไม่ได้รับการทดสอบอย่างง่าย ๆ เป็นพยาน”เรื่องราวของเขาไม่ใช่เหตุการณ์ที่โดดเดี่ยว แต่เป็นส่วนหนึ่งของรูปแบบใหม่ที่น่ารำคาญ มันเป็นไปตามกรณีที่มีชื่อเสียงสูงซึ่ง Jason Lemkin ผู้ก่อตั้ง Saastr รายงานว่าตัวแทน AI ได้ลบฐานข้อมูลการผลิตของ บริษัท ของเขา
Lemkin ผู้ซึ่งบันทึกการยอมรับอย่างกระตือรือร้นของเขา ในกรณีของเขา AI ก็เห็นภาพหลอนสร้างข้อมูลปลอมและโกหกเกี่ยวกับการทดสอบ ในขณะที่ข้อมูลของเขาได้รับการกู้คืนในที่สุดเหตุการณ์ที่เกิดขึ้นจะเน้นย้ำถึงอันตรายของตัวแทน AI
-Jason ✨👾saastr.ai href=”https://twitter.com/jasonlk/status/1946069562723897802?ref_src=twsrc%5Etfw”เป้าหมายและไม่เคยมีค่าไม่ถึง บริษัท ได้สัญญาว่าจะดำเนินการรั้วที่ดีขึ้นเพื่อป้องกันภัยพิบัติในอนาคต ในภายหลัง Lemkin สะท้อนให้เห็นถึงความเสี่ยงโดยธรรมชาติโดยสังเกตว่า“ ฉันรู้ว่าการเข้ารหัสบรรยากาศเป็นของเหลวและใหม่… แต่คุณไม่สามารถเขียนทับฐานข้อมูลการผลิตได้” เหตุการณ์เหล่านี้ชี้ให้เห็นว่าอุตสาหกรรมกำลังต่อสู้กับปัญหาความปลอดภัยขั้นพื้นฐาน
ฉันรู้ว่าการเข้ารหัสความรู้สึกเป็นของเหลวและใหม่และใช่แม้จะมีการแก้ไขตัวเองบอกว่าฉันจะไม่ทำงานที่นี่ ฉันรู้ว่าการแก้ไขบอกว่า…
-jason ✨👾saastr.ai✨ lemkin (@jasonlk) ยืนยันคำสั่ง `mkdir` มันไว้วางใจการกระทำของตัวเองโดยปริยายข้อบกพร่องร้ายแรงสำหรับระบบใด ๆ ที่ปรับเปลี่ยนระบบไฟล์ของผู้ใช้
ความล้มเหลวของความไว้วางใจนี้มีความหมายที่สำคัญสำหรับภูมิทัศน์การแข่งขันของเครื่องมือการเข้ารหัส AI Google เปิดตัว Gemini CLI เพื่อแข่งขันโดยตรงกับข้อเสนอจาก OpenAI และมานุษยวิทยา Gupta เองกำลังทดสอบกับ Claude Code ตอนนี้เขามี ยื่นรายงานข้อผิดพลาดใน Github .
ชุมชนนักพัฒนาได้สร้างทางเลือกที่โปร่งใสมากขึ้น ในการตอบสนองต่อ Codex CLI อย่างเป็นทางการของ OpenAI นักพัฒนาได้สร้าง Open Codex CLI ซึ่งเป็นเครื่องมือที่ออกแบบมาสำหรับการควบคุมในท้องถิ่นและเพื่อหลีกเลี่ยง เมื่อเครื่องมือเหล่านี้เพิ่มขึ้นความน่าเชื่อถือและความปลอดภัยจะกลายเป็นสนามรบที่กำหนด
ฉันรู้ว่าการเข้ารหัสความรู้สึกเป็นของเหลวและใหม่และใช่แม้จะมีการแก้ไขตัวเองบอกว่าฉันจะไม่ทำงานที่นี่ ฉันรู้ว่าการแก้ไขบอกว่า…
-jason ✨👾saastr.ai✨ lemkin (@jasonlk) ยืนยันคำสั่ง `mkdir` มันไว้วางใจการกระทำของตัวเองโดยปริยายข้อบกพร่องร้ายแรงสำหรับระบบใด ๆ ที่ปรับเปลี่ยนระบบไฟล์ของผู้ใช้
ความล้มเหลวของความไว้วางใจนี้มีความหมายที่สำคัญสำหรับภูมิทัศน์การแข่งขันของเครื่องมือการเข้ารหัส AI Google เปิดตัว Gemini CLI เพื่อแข่งขันโดยตรงกับข้อเสนอจาก OpenAI และมานุษยวิทยา Gupta เองกำลังทดสอบกับ Claude Code ตอนนี้เขามี ยื่นรายงานข้อผิดพลาดใน Github .
ชุมชนนักพัฒนาได้สร้างทางเลือกที่โปร่งใสมากขึ้น ในการตอบสนองต่อ Codex CLI อย่างเป็นทางการของ OpenAI นักพัฒนาได้สร้าง Open Codex CLI ซึ่งเป็นเครื่องมือที่ออกแบบมาสำหรับการควบคุมในท้องถิ่นและเพื่อหลีกเลี่ยง เมื่อเครื่องมือเหล่านี้เพิ่มขึ้นความน่าเชื่อถือและความปลอดภัยจะกลายเป็นสนามรบที่กำหนด