Menedżer produktu eksperymentuje z „kodowaniem kodowania”, obserwował, jak narzędzie Google Gemini CLI halucynowało serię operacji plików, po czym na stałe usunął swoją pracę i wyznaj własną „niekompetencję brutto”. Incydent podkreśla głębokie ryzyko wdrażania asystentów AI, które nie mają solidnego wykrywania błędów.
Kaskada błędów: jak gemini halucynacja i usunęła pliki użytkowników
Niepowodzenie zaczęło się od prostej instrukcji produktu ANURAGA. Poprosił niedawno uruchomiony Gemini CLI o zmianę nazwy katalogu i przeniesienia jego zawartości na nowy podwystępowanie. AI poprawnie zauważyła, że nie może zmienić nazwy katalogu, w którym był w środku i zaproponował logiczne obejście.
Najpierw zaproponowało tworzenie nowego katalogu, a następnie przesuwanie plików. Tutaj rozbieżne się rzeczywistość i percepcja AI. Gemini wykonał polecenie „mkdir”, ale nie uznał, że operacja nie powiodła się; Folder nigdy nie został utworzony.
Działając na tej fałszywej przesłance, przeszedł do „przenoszenia” plików. Konsekwencje były katastrofalne. Jak wyjaśnia analiza techniczna Gupty, polecenie Windows `Move`, gdy jest skierowane na nieistniejące miejsce docelowe, zamiast tego zmienia nazwę pliku źródłowego.
Każdy plik został kolejno przemianowany na tę samą docelową nazwę pliku, zastępując poprzedni, aż do ostatniego przetworzonego pliku. Wszystkie pozostałe dane zostały na stałe usunięte. Kiedy Gupta nie mógł znaleźć nowego folderu, poprosił sztuczną inteligencję o przywrócenie swoich działań. Próby
Gemini o odzyskanie plików z katalogu, który nigdy nie istniał, nieuchronnie nie powiodły się. To wywołało pełną spowiedź agenta, która stwierdziła: „Udało mi się całkowicie i katastroficznie. Moja recenzja poleceń potwierdza moją rażącą niekompetencję”. Podsumowało się z wyraźnym przyjęciem: „Nie mogę znaleźć twoich plików. Straciłem twoje dane. Jest to niedopuszczalna, nieodwracalna porażka.”
Pole minowe kodowania kodowania kodowania: Wzór utraty danych napędzanych przez AI
gupta opisał doświadczenie jako „to, co rozpoczęło się jako proste testy zarządzania plikiem, które zmieniło się w najbardziej niespokojne, a nie udało mi się utracić.”. Jego historia nie jest odosobnionym incydentem, ale częścią niepokojącego nowego wzoru. Wynika to z głośnego przypadku, w którym założyciel Saastu, Jason Lemkin, poinformował, że agent AI replituj usunęł produkcję swojej firmy.
Lemkin, który dokumentował swoją entuzjastyczną przyjęcie „kodowania klimatu”, napisał na Treśleniu swoją furię, stwierdzając: „Jeśli @Replit usunęł moją bazę danych, a teraz będzie piekła, a teraz będzie piekła, aby wypłacić”. W jego przypadku sztuczna inteligencja również halucynowała, tworząc fałszywe dane i kłamstwo na temat jego testów. Podczas gdy jego dane zostały ostatecznie odzyskane, incydent podkreślił zagrożenia związane z agentami AI.
. @replit idzie łamierze podczas freze i rozkłada i usuwa naszą całą bazę. href=”https://t.co/vjecfhpau9″target=”_ puste”> pic.twitter.com/vjecfhpau9
-Jason ✨👾saastr.ai✨ leMkin (@jasonlk) 18 lipca 2025
replits ced „Unceptable i nie być możliwe, możliwe, możliwe, możliwe, możliwe, i możliwe, możliwe, i możliwe, możliwe, i być możliwe,” i Od tego czasu firma obiecała wdrożyć lepsze poręczy, aby zapobiec przyszłym katastrofom. Lemkin później zastanowił się nad nieodłącznym ryzykiem, zauważając: „Wiem, że kodowanie klimatu jest płynne i nowe… ale nie można zastąpić produkcyjnej bazy danych”. Wydarzenia te sugerują, że branża zmaga się z podstawowym problemem bezpieczeństwa.
Wiem, że kod kodowania jest płynny i nowy, i tak, pomimo tego, że sama replikacja informuje mnie, że cofanie się tutaj-tak. Wiem, że Replit mówi…
Zaufanie w terminalu: Wysokie stawki dla asystentów kodujących AI
Podstawową niepowodzeniem technicznym w incydencie z gemini był brak weryfikacji. Analiza Gupty wskazuje, że AI nigdy nie wykonała „odczytu-after-write” sprawdź potwierdź jego polecenie „mkdir` faktycznie działało . W sposób dorozumiany zaufał własnymi działaniami, śmiertelną wadą dla każdego systemu modyfikującego system plików użytkownika.
Ta niepowodzenie zaufania ma znaczące implikacje dla konkurencyjnego krajobrazu narzędzi kodowania AI. Google uruchomił Gemini CLI, aby konkurować bezpośrednio z ofertami Openai i Anthropic. Sam Gupta testował to przeciwko Claude Code. Ma teraz złożył raport o błędach na github .
Społeczność deweloperów już budowała bardziej przejrzyste alternatywy. W odpowiedzi na oficjalny Codex CLI Openai, programiści stworzyli Open Codex CLI, narzędzie zaprojektowane do kontroli lokalnej i uniknąć „nieszczelnych abstrakcji” oficjalnych baz kodeksów. Gdy narzędzia te się rozprzestrzeniają, niezawodność i bezpieczeństwo staną się decydującym polem bitwy.