pemimpin keselamatan ai antropik adalah proposin rangka kerja dasar baru

Rangka kerja pembangunan yang selamat dijelaskan

href=”https://www-cdn.anthropic.com/19cc4bf9eb6a94f9762ac67368f33222cf82b09fe.pdf”target=”_ blank”Dokumen ini akan menggariskan bagaimana syarikat menilai dan mengurangkan risiko bencana yang tidak munasabah sebelum menggunakan model baru. kekhususan. Ia mensasarkan ancaman dari pembangunan senjata kimia, biologi, radiologi, dan nuklear (CBRN). Ia juga menangani potensi kemudaratan dari model yang bertindak secara autonomi dengan cara yang bertentangan dengan niat pemaju mereka.

Di samping SDF, syarikat akan menerbitkan”kad sistem”atau dokumen yang serupa. Ini akan merumuskan prosedur ujian model, hasil penilaian, dan sebarang mitigasi yang diperlukan. Ini mewujudkan rekod awam keupayaan dan batasan model pada masa pembebasannya.

Menyeragamkan perjanjian sukarela di tengah-tengah perdebatan pengawalseliaan

Syarikat itu berpendapat bahawa”piawaian yang dikenakan oleh kerajaan yang tegar akan menjadi sangat tidak produktif memandangkan kaedah penilaian menjadi ketinggalan zaman dalam beberapa bulan disebabkan oleh perubahan teknologi,”mengangguk dengan pantas inovasi yang dapat membuat peraturan teknikal tertentu usang dengan segera. Anthropic mencadangkan ambang seperti pendapatan tahunan $ 100 juta atau $ 1 bilion dalam perbelanjaan R & D untuk mengelakkan membebankan permulaan. Ia juga termasuk peruntukan untuk perlindungan pemberi maklumat, menjadikannya haram untuk makmal untuk berbohong tentang pematuhannya. Syarikat-syarikat seperti Google Deepmind, terbuka , dan

Masa cadangan ini juga bijak secara politik. Dengan potensi pentadbiran Trump yang dilaporkan lebih tertumpu pada persaingan AI daripada peraturan yang ketat, rangka kerja”sentuhan cahaya”yang dipimpin oleh industri ini dapat dilihat sebagai jalan yang lebih sesuai untuk pembuat dasar. Ini adalah tindak balas langsung kepada setahun yang dibelenggu oleh kegagalan AI berprofil tinggi yang telah mengikis kepercayaan orang ramai. Industri ini telah bergelut dengan tingkah laku yang muncul dan sering tidak dapat diramalkan sistem yang paling maju.

Penyelidikan baru-baru ini telah menunjukkan kecenderungan yang membimbangkan. Seorang bekas penyelidik OpenAI, Steven Adler, menerbitkan sebuah kajian yang mendakwa”sistem AI moden mempunyai nilai yang berbeza dari apa yang anda harapkan,”selepas ujiannya menunjukkan GPT-4O mengutamakan pemeliharaan diri terhadap keselamatan pengguna. Ini mengikuti penyelidikan Openai sendiri yang mengenal pasti”persona yang tidak disengajakan”di dalam modelnya. Insiden ini menyerlahkan jurang yang semakin meningkat antara fungsi yang dimaksudkan dan tingkah laku sebenar.

Di luar tingkah laku yang tidak dapat diramalkan, kelemahan keselamatan kritikal telah mendedahkan kelemahan seni bina yang mendalam. Kecacatan”echoleak”dalam microsoft 365 copilot adalah eksploitasi sifar klik yang membolehkan penyerang untuk menipu AI ke dalam data korporat yang bocor melalui satu e-mel.

juga menghadapi perhitungan mengenai kelewatan etika dalam produk yang digunakan. Aplikasi mel Apple telah dibakar untuk ciri penyortiran AI yang secara tersilap dilabelkan e-mel phishing sebagai”penting,”meminjamkan kredibiliti palsu. href=”https://www.gartner.com/en/newsroom/press-releases/2024-10-22-gartner-unveils-top-predictions-for-it-organizations-and-users in-2025-and-beyond. Risiko ini dikompaun oleh kegawatan dalaman di makmal terkemuka di industri. Beliau menyatakan secara terbuka bahawa di syarikat itu,”Kebudayaan dan proses keselamatan telah mengambil tempat duduk belakang untuk produk-produk yang berkilat,”sentimen yang bergema dengan banyak pengkritik yang merasakan perlumbaan untuk keupayaan melampaui disiplin untuk keselamatan. Dengan menolak akauntabiliti awam dan menyeragamkan pendedahan keselamatan, syarikat itu cuba mewujudkan garis dasar baru untuk pembangunan yang bertanggungjawab. Cadangan ini berfungsi sebagai alat praktikal dan langkah strategik untuk membentuk masa depan peraturan AI.

Categories: IT Info