Terwijl kunstmatige intelligentie zijn mars in de onderneming voortzet, wordt een nieuwe grens van beveiligingsuitdagingen geopend. AI-agenten, met name die aangedreven door grote taalmodellen, worden geleverd met bekende operationele eigenaardigheden zoals hallucinatie (het genereren van valse informatie) en een kwetsbaarheid om injectieaanvallen te veroorzaken-een techniek waarbij kwaadaardige instructies verborgen zijn in invoergegevens truc de AI in het uitvoeren van onbedoelde acties.
Dit zijn niet alleen theoretische risico’s; Ze vertegenwoordigen potentiële gateways voor het in gevaar brengen van bedrijfssystemen. Nu voegt de topbeveiligingsmanager van Anthropic een specifieke tijdlijn toe aan deze abstracte zorgen.
Jason Clinton, de hoofdfunctionaris van Anthropic, gelooft dat AI-systemen in staat zijn om te fungeren als autonome”virtuele medewerkers”zullen een realiteit worden binnen bedrijfsnetwerken binnen de komende twaalf maanden. Met Axios deze week gesproken, Hij waarschuwde Die industrie is niet volledig voorbereid op de beveiliging die geavanceerde AI-identiteiten zullen eisen. src=”https://winbuzzer.com/wp-content/uploads/2024/10/anthropic-ai-safety-ai-sabotage.jpg”>
Deze virtuele werknemers zijn niet alleen hulpmiddelen; Clinton stelt zich voor dat ze aanhoudende’herinneringen’, specifieke functies en hun eigen bedrijfsaccounts en wachtwoorden hebben, waardoor ze een aanzienlijke operationele onafhankelijkheid verleenden die de AI-agenten van vandaag veel overtreft, die zich meestal richten op specifieke, geprogrammeerde taken zoals Microsoft, gebruikt ze voor het reageren op phishing alerts.”In die wereld zijn er zoveel problemen die we nog niet hebben opgelost vanuit een beveiligingsperspectief dat we moeten oplossen,” clinton opmerking naar axios . Het beveiligen van het niet-menselijke personeelsbestand
Het kernprobleem ligt in het beheren van deze AI-identiteiten. Hoe beveiligt u het gebruikersaccount van een AI van een compromis? Welke netwerkmachtigingen zijn geschikt voor een autonome agent?
En cruciaal, wie is verantwoordelijk wanneer een AI-medewerker onverwacht of kwaadaardig handelt? Clinton wees op het potentieel voor een AI om Rogue te gaan, misschien het hacken van de interne softwareontwikkelingspijplijn van een bedrijf.”In een oude wereld is dat een strafbare overtreding,”zei hij.
“Maar in deze nieuwe wereld, wie is verantwoordelijk voor een agent die een paar weken liep en op dat moment is gekomen?”Deze uitdaging versterkt bestaande moeilijkheden Netwerkbeheerders hebben geconfronteerd met de toegang tot monitoringaccounts en het afweren van aanvallers met behulp van gestolen referenties.
De probleemruimte, vaak niet-menselijke identiteitsbeheer (NHIM) genoemd, omvat het veiligstellen van toegang voor servicerekeningen, API’s en geautomatiseerde tools-een al-bevolking die al is; delinea geschat eerder in april 2025 Dat niet-Human netwerkidentiteiten) al overtreffen mensen 46-to-1 in veel bedrijven . Het toevoegen van autonome AI-medewerkers verhoogt deze complexiteit drastisch.
Antropisch, verklaarde Clinton, ziet deze beveiligingsvragen aanpakken als een essentieel gebied voor ontwikkeling. Hij noemde specifiek de noodzaak van betere tools om zichtbaarheid te bieden in AI-werknemersactiviteiten en-systemen voor het classificeren van deze nieuwe soorten accounts in beveiligingskaders.
Het bedrijf kadert zijn eigen taken op dit gebied in dit gebied als tweeledig: ten eerste,”om CLAUDE-modellen grondig te testen. Deze focus is niet nieuw; Eind 2024 heeft Clinton gepleit voor “Vertrouwelijke computing” As een belangrijke methode voor het vaststellen van AIDENTS. Op hardware gebaseerde vertrouwde uitvoeringsomgevingen om gegevens te beschermen, zelfs terwijl deze in het geheugen wordt verwerkt, gericht op het voorkomen van ongeautoriseerde toegang of aanpassing.
Anthropic’s eigen onderzoek benadrukt de risico’s
Het interne onderzoek van het AI-laboratorium biedt ondersteunend bewijs voor deze zorgen. Werk aan een interpreteerbaarheidskader, gedetailleerd in maart, konden onderzoekers in staat stellen interne modelsoestanden te observeren geassocieerd met potentieel schadelijke gesimuleerde acties, zoals het genereren van valse rechtvaardigingen of het verbeelding van schade aan de makers. href=”https://assets.anthropic.com/m/18d20cca3cde3503/original/values-in-thes-wild-paper.pdf”target=”_ blanco”> AI waarden vrijgegeven op 21 april , op basis van februari 2025-gegevens, bevestigde dat het gedrag van het gedrag van zijn CLAUDE Model een hoge context van de uitdaging is. De bijbehorende Waarden is openbaar .
antropische interne “Frontier Red Team”ook gerapporteerd in maart dat terwijl de modellen verbeterde cybersecurity-vaardigheden zouden kunnen repliceren met de juiste cyberattacks met de juiste tools en instructies. Dit gebeurde zelfs toen de modellen werden beoordeeld als nog geen aanzienlijk verhoogde nationale beveiligingsrisico’s op dat moment.
Eerdere zorgen ontstonden in oktober 2024 toen een functie waarmee Claude rechtstreeks op de computer van een gebruiker kon werken, beveiligingsexperts werd gevraagd warn about potential manipulation via prompt injection through external files or websites.
Industry Adapts While Foundation Is Laid
The De bredere technische industrie begint te worstelen met het beheren van niet-menselijke identiteiten. Okta lanceerde in februari een platform gericht op het verenigen van toezicht en bedrijven zoals delinea en AKKEYLOSS zijn marketing-specialized NHIM-tools. Maar het integreren van AI in workflows wordt ook geconfronteerd met cultureel verzet, geïllustreerd door
tegelijkertijd wordt het technische sanitair voor deze agenten geïnstalleerd. Anthropic’s Model Context Protocol (MCP), opgericht in november 2024, wint aan grip als standaard voor hoe AI-agenten omgaan met externe gegevens en tools via HTTP of lokale verbindingen. Openai heeft het zojuist aangenomen, volgens Microsoft, AWS en Google, mogelijk de communicatiepaden voor toekomstige virtuele werknemers. Clinton’s waarschuwing komt overeen met het consistente publieke standpunt van Anthropic over het beheren van AI-risico’s. Het bedrijf riep beroemd op tot dringende wereldwijde regulering in november 2024 en