Kun tekoäly jatkaa marssiaan yritykseen, uusi turvahaasteiden raja avautuu. AI-agentit, etenkin suurten kielimallien käyttämät, ovat tunnettuja operatiivisia omituisuuksia, kuten hallusinaatiota (tuottaa vääriä tietoja) ja haavoittuvuutta nopeisiin injektiohyökkäyksiin-tekniikkaan, jossa syöttötietojen sisällä piilotetut haitalliset ohjeet temppuvat AI: n suorittamaan tahattomia toimia.
Nämä eivät ole vain teoreettisia riskejä; Ne edustavat potentiaalisia yhdyskäytäviä yritysjärjestelmien vaarantamiseksi. Nyt Antropicin tärkein turvallisuusjohtaja lisää erityisen aikajanan näihin abstrakteihin huolenaiheisiin. Puhuessaan Axiosin kanssa tällä viikolla Hän varoitti , että teollisuus ei ole täysin valmis turvallisuusvalmistukseen näitä edistyneitä AI-identiteettejä. src=”https://winbuzzer.com/wp-content/uploads/2024/10/anthropic-ai-safety-ai-sabotage.jpg”>
Nämä virtuaalityöntekijät eivät ole vain työkaluja; Clinton ajattelee, että heillä on jatkuvia “muistoja”, erityisiä työrooleja ja omia yritystiliään ja salasanojaan, antaen heille merkittävän operatiivisen riippumattomuuden ylittäen huomattavasti nykypäivän AI-agentit, jotka keskittyvät tyypillisesti tiettyihin, ohjelmoiduihin tehtäviin, kuten Microsoft, käyttävät niitä vastaamaan kalastushälytyksiin.”Tuossa maailmassa on niin monia ongelmia, että emme ole vielä ratkaisseet turvallisuusperspektiivistä, että meidän on ratkaistava” Clinton Ei-ihmisen työvoima
Ydinkysymys on näiden AI-identiteettien hallinnassa. Kuinka varmistat AI: n käyttäjätilin kompromissilta? Mitkä verkon käyttöoikeudet sopivat itsenäiselle edustajalle? Clinton huomautti AI: n potentiaalista mennä vilpilliseen hakkeroimalla yrityksen sisäisen ohjelmistokehitysputken.”Vanhassa maailmassa se on rangaistava rikos”, hän sanoi. “Mutta tässä uudessa maailmassa kuka on vastuussa edustajasta, joka oli juoksemassa pari viikkoa ja pääsi siihen pisteeseen?”Tämä haaste vahvistaa olemassa olevia vaikeuksia verkon järjestelmänvalvojat kohtaavat tilien pääsyn ja hyökkääjien torjumisen varastetuilla käyttöoikeustiedoilla. Ongelmatila, jota usein kutsutaan ei-ihmisen henkilöllisyyden hallintaan (NHIM), kattaa palvelutilien, sovellusliittymien ja automatisoidut työkalut-väestö on jo valtava; Delinea arvioitu aiemmin huhtikuussa 2025 Että ei-ihmisen verkkoidentiteettejä (kuten palvelutili) jo ylittää ihmisen 46-1-1 monissa yrityksissä . Autonomisten AI-työntekijöiden lisääminen lisää dramaattisesti tätä monimutkaisuutta. Hän mainitsi erityisesti paremman työkalun tarpeen tarjota näkyvyyttä AI: n työntekijöiden toimintoihin ja järjestelmiin näiden uuden tyyppisten tileiden luokittelemiseksi turvallisuuskehyksillä. Yritys kehottaa omia tehtäviään tällä alueella kaksinkertaisena:”Ensinnäkin”testata Claude-malleja perusteellisesti varmistaakseen, että ne kestävät kyberaloitukset,”ja toiseksi”,”valvoakseen turvallisuusongelmia ja louhitaan tapoja, jotka ovat standardeja väärinkäytöksiä,”ja toiseksi”. Tämä painopiste ei ole uusi; Vuoden 2024 lopulla Clinton puolusti “Luottamuksellinen laskenta” avainmenetelmäksi. Luotsijaskennon tietojenkäsittely käyttää laitteistopohjaisia luotettavia suoritusympäristöjä tietojen suojaamiseksi, vaikka sitä käsitellään muistissa, pyrkiessä estämään luvattoman pääsyn tai muokkauksen. AI Labin sisäinen tutkimus tarjoaa tukevia todisteita näistä huolenaiheista. Työskentely tulkittavuuskehyksessä, joka on yksityiskohtaisesti maaliskuussa, antoi tutkijoille mahdollisuuden tarkkailla mahdollisesti haitallisiin simuloituihin toimiin liittyviä sisäisiä mallitiloja, kuten väärien perustelujen tuottamista tai jopa sen luojien haittaa. Lisäksi antropisin oman tutkimuksen korostavat riskit
antropisen sisäinen “Frontier Red Team”ilmoitettiin myös maaliskuussa , että vaikka sen mallit osoittivat parannetut kyysturvallisuustaidot. Tämä tapahtui, vaikka malleja arvioitiin, koska se ei ole vielä aiheuttanut huomattavasti kohonneita kansallisia turvallisuusriskejä.
Aikaisemmat huolenaiheet syntyivät lokakuussa 2024, kun ominaisuus, joka sallii Clauden toimia suoraan käyttäjän tietokoneella, kehotti tietoturvaasiantuntijoita varoita mahdollisesta manipuloinnista nopeaan injektioon Ulkoisten tiedostojen tai verkkosivustojen kautta. Teknologiateollisuus on alkanut tarttua muiden kuin ihmisten identiteettien hallintaan. Okta julkaisi alustan helmikuussa , jonka tarkoituksena on yhdistää valvonta, ja yritykset, kuten Delinea ja ayyyyydyy ovat markkinoinnin nhim-työkaluja. Mutta AI: n integrointi työnkulkuihin kohtaa myös kulttuuriresistenssin, esimerkiksi
Samanaikaisesti näiden aineiden tekninen putkisto asennetaan. Antropisin malliyhteysprotokolla (MCP), joka on perustettu marraskuussa 2024, on saamassa pitoa standardina siitä, kuinka AI-agentit ovat vuorovaikutuksessa ulkoisten tietojen ja työkalujen kanssa HTTP: n tai paikallisten yhteyksien suhteen. Openai otti sen juuri käyttöön Microsoftin, AWS: n ja Googlen seurauksena, mikä mahdollisesti tarjosi viestintäpolut tuleville virtuaalisille työntekijöille. Clintonin varoitus vastaa antropisen johdonmukaisen julkisen asenteen AI-riskien hallinnassa. Yhtiö kutsui kuuluisasti kiireellistä globaalia sääntelyä takaisin marraskuussa 2024 ja Maaliskuussa 2025 huolimatta samanaikaisesti vanhemmat vapaaehtoiset turvallisuuslupaukset sen sivustolta. Rahoitettuna (keräämällä 3,5 miljardia dollaria helmikuussa 2025) ja vaikutusvaltainen AI-laboratorio näyttää olevan sitoutunut ajamaan AI-ominaisuuksia, kun taas julkisesti paini turvallisuusvaikutuksilla.
