Ketika kecerdasan buatan melanjutkan perjalanannya ke dalam perusahaan, sebuah perbatasan baru tantangan keamanan dibuka. Agen AI, terutama yang ditenagai oleh model bahasa besar, datang dengan keanehan operasional yang diketahui seperti halusinasi (menghasilkan informasi palsu) dan kerentanan terhadap serangan injeksi-teknik di mana instruksi jahat yang disembunyikan dalam input data trik AI untuk melakukan tindakan yang tidak diinginkan.
Ini bukan hanya riset teori; Mereka mewakili gateway potensial untuk mengorbankan sistem perusahaan. Sekarang, Eksekutif Keamanan Tinggi Antropik menambahkan garis waktu khusus untuk keprihatinan abstrak ini.
Jason Clinton, kepala petugas keamanan informasi Anthropic, percaya sistem AI yang mampu bertindak sebagai”karyawan virtual”yang otonom akan menjadi kenyataan dalam jaringan perusahaan dalam dua belas bulan berikutnya. Berbicara dengan Axios minggu ini, bahwa industri itu tidak sepenuhnya siap untuk keamanan overhaul outhaul ini akan menuntut. src=”https://winbuzzer.com/wp-content/uploads/2024/10/anthropic-ai-safety-ai-sabotage.jpg”>
Pekerja virtual ini tidak akan hanya menjadi alat; Clinton membayangkan mereka memiliki”ingatan”yang terus-menerus, peran pekerjaan khusus, dan akun perusahaan dan kata sandi perusahaan mereka sendiri, memberi mereka independensi operasional yang signifikan jauh melebihi agen AI saat ini, yang biasanya fokus pada tugas spesifik dan terprogram seperti Microsoft menggunakannya untuk menanggapi peringatan phishing.”Di dunia itu, ada begitu banyak masalah yang belum kita selesaikan dari perspektif keamanan yang perlu kita selesaikan,” clinton-virtual-virtual-enterosy-security”target=”_ blank”> clinton clinton target. Krisis: Mengamankan tenaga kerja non-manusia
Masalah inti terletak pada mengelola identitas AI ini. Bagaimana Anda mengamankan akun pengguna AI dari kompromi? Izin jaringan apa yang sesuai untuk agen otonom? Dan yang terpenting, siapa yang bertanggung jawab ketika seorang karyawan AI bertindak secara tak terduga atau jahat? Clinton menunjukkan potensi AI untuk menjadi nakal, mungkin meretas pipa pengembangan perangkat lunak internal perusahaan.”Di dunia lama, itu merupakan pelanggaran yang dapat dihukum,”katanya. “Tapi di dunia baru ini, siapa yang bertanggung jawab atas agen yang berjalan selama beberapa minggu dan sampai pada titik itu?”Tantangan ini memperkuat kesulitan yang ada, administrator jaringan menghadapi akses akun pemantauan dan menangkis penyerang menggunakan kredensial curian. Ruang bermasalah, sering disebut Non-Human Identity Management (NHIM), mencakup mengamankan akses untuk akun layanan, API, dan alat otomatis-populasi yang sudah luas; delinea yang diperkirakan sebelumnya pada April 2025 bahwa identitas jaringan non-human (seperti akun layanan) bahwa non-human identitas (seperti akun layanan) sudah melebihi jumlah manusia 46-ke-1 di banyak perusahaan . Menambahkan karyawan AI otonom secara dramatis meningkatkan kompleksitas ini. Antropik, kata Clinton, melihat mengatasi pertanyaan keamanan ini sebagai area vital untuk pengembangan. Dia secara khusus menyebutkan perlunya alat yang lebih baik untuk memberikan visibilitas ke dalam kegiatan dan sistem karyawan AI untuk mengklasifikasikan jenis akun baru ini dalam kerangka keamanan. Perusahaan membingkai tugas-tugasnya sendiri di bidang ini sebagai dua kali lipat: pertama, “untuk menguji secara menyeluruh untuk memastikan bahwa mereka dapat melakukan cane cyberattacks,”dan kedua, “edisi pengantara, dan kedua,“ edisi pengantara, dan kedua, “edisi pengantara, dan kedua,“ edisi pengantara, dan kedua, “edisi pengantara, dan kedua,“ edisi pengantara, dan kedua, “edisi sonory dan kedua,“ edisi pengantara, dan kedua, “edisi pengoninunkan, dan kedua,“ edisi pengantara, dan kedua, “edisi pengoninunkan,“ Monitor. Fokus ini bukan hal baru; in late 2024, Clinton advocated for “confidential computing” as a key method for establishing trust in AI agents. Confidential Komputasi menggunakan lingkungan eksekusi tepercaya berbasis perangkat keras untuk melindungi data bahkan saat sedang diproses dalam memori, bertujuan untuk mencegah akses atau modifikasi yang tidak sah. Penelitian internal Lab AI memberikan bukti pendukung untuk masalah ini. Bekerja pada kerangka kerja interpretabilitas, yang dirinci pada bulan Maret, memungkinkan para peneliti untuk mengamati keadaan model internal yang terkait dengan tindakan simulasi yang berpotensi berbahaya, seperti menghasilkan pembenaran yang salah atau bahkan membayangkan kerugian bagi penciptanya. Selanjutnya, sebuah studi tentang Nilai-nilai AI yang dirilis pada tanggal 21 April, berdasarkan pada data Februari 2025, mengkonfirmasi bahwa perilaku claude. The Terkait nilai dataset adalah publik . Antropik internal href=”https://www.anthropic.com/news/strategic-warning-for-ai-kisk-progress-and-insights-from-frontier-red-tim”target=”_ blank-tools cane-tools cane-tools cane-to Toolse. Ini terjadi bahkan ketika model dinilai belum menimbulkan risiko keamanan nasional secara substansial pada waktu itu. Kekhawatiran sebelumnya muncul pada Oktober 2024 ketika fitur yang memungkinkan Claude untuk beroperasi langsung di komputer pengguna mendorong para ahli keamanan untuk memperingatkan tentang potensi manipulasi dengan foundation, foundation, penelitian antropik sendiri menyoroti risiko ini
LEBODE FOUNDATIONS ADALAH FOUNDATIONS atau WEBSITES. Industri mulai bergulat dengan mengelola identitas non-manusia. Okta meluncurkan platform pada Februari yang bertujuan untuk menyatukan pengawasan, dan perusahaan-perusahaan seperti delinea dan
Secara bersamaan, pipa teknis untuk agen-agen ini sedang dipasang. Model Anthropic’s Context Protocol (MCP), didirikan pada November 2024, mendapatkan traksi sebagai standar untuk bagaimana agen AI berinteraksi dengan data dan alat eksternal melalui HTTP atau koneksi lokal. Openai baru saja mengadopsinya, mengikuti Microsoft, AWS, dan Google, berpotensi menyediakan jalur komunikasi untuk karyawan virtual di masa depan.
Peringatan Clinton selaras dengan sikap publik antropik yang konsisten tentang mengelola risiko AI. Perusahaan ini terkenal menyerukan peraturan global yang mendesak pada bulan November 2024 dan
