W listopadzie agent AI Big Sleep Google do znalezienia problemów bezpieczeństwa w oprogramowaniu, odkrył poważną podatność w SQLite, silniku bazy danych open source powszechnie używanych w aplikacjach i systemach wbudowanych. Wielki sen wyłonił się z poprzedni projekt Google naptime , współpraca między projektem Zero i DeepMind, jest eksperymentalnym agentem ai zaprojektowanym przez autonomiczne identyfikację bezpieczeństwa.
Również w zeszłym roku Startup Protect AI uruchomił Vulnhuntr, narzędzie komercyjne wykorzystujące model Claude w ANTROPIC w celu znalezienia luk w kodzie Python. Firma jest teraz Open-Sourcing projektu Współpracowanie rozwoju społeczności.
, gdy lekarstwo staje się kontaktem
, a może najwięcej badań z badań od badań. Jak podatność zarażała same modele AI. Ponieważ duże modele językowe są szkolone w zakresie rozległych kodeksu publicznego z GitHub, nauczyły się niepewnego wzorca jako standardowej praktyki. Naukowcy odkryli, że poproszeni o utworzenie prostego serwera plików, wiele popularnych LLM z pewnością odtworzyłoby 15-letni błąd, nawet gdy wyraźnie poproszono o napisanie bezpiecznej wersji.
Ten problem „zatruty LLM” jest szybko rosnącym problemem. Zgodnie z laboratorium endor , oszałamiające 62% kodu generowanego AII zawiera błędy lub filmy bezpieczeństwa. Wyzwaniem nie jest już tylko naprawianie starszego kodu, ale zapewnienie, że narzędzia budujące przyszły kod nie utrwala błędów z przeszłości.
Projekt akademicki jest kluczową bitwą w większym, eskalującym wyścigu zbrojeń AI o bezpieczeństwo cybernetyczne. W tej dziedzinie jest ogromny napływ inwestycji i innowacji, gdy firmy pędzą do budowy obrony zasilanej przez AI.
Ten trend przyspiesza. W marcu 2025 r. Firma ochroniarska wykryć system nazywa to„ alfred “, który opisał jako narzędzie do„ tworzenia SLepless etycznego etycznego etycznego. autonomicznie zbiera inteligencję zagrożeń, priorytetyzuje luki w zabezpieczeniach i buduje testy bezpieczeństwa oparte na ładowności. “
Ta fala innowacji podkreśla zasadniczą zmianę. Projekt naukowców, choć akademicki, jest potężnym dowodem koncepcji w dziedzinie zdefiniowanej obecnie przez podwójne wyzwanie: wykorzystanie sztucznej inteligencji jako potężnej broni obronnej, jednocześnie ograniczając nowe ryzyko bezpieczeństwa, które tworzy sam AI. Przyszłość bezpieczeństwa oprogramowania prawdopodobnie będzie zależeć od tego, kto może najpierw opanować ten złożony akt równoważenia.
