Microsoft Previews AI Ejen yang boleh mengendalikan desktop dan laman web di Copilot Studio

Trend ejen AI yang bergerak melampaui berbual untuk melakukan perkara secara aktif di komputer mengambil langkah lain ke hadapan. Microsoft minggu ini mula mempratonton fungsi”penggunaan komputer”dalam platform kod rendah Copilot Studio, yang direka untuk membolehkan perniagaan membina pembantu AI yang boleh menavigasi dan mengendalikan kedua-dua laman web dan aplikasi desktop tradisional. Ejen-ejen ini bekerja dengan mensimulasikan tindakan manusia-mengklik butang, menaip ke dalam bidang, memilih menu-aiming untuk mengautomasikan tugas walaupun pada sistem yang kekurangan antara muka pengaturcaraan moden untuk integrasi langsung. Tidak seperti ciri’tindakan’yang lebih terhad dalam versi pengguna copilot, keupayaan studio copilot ini mensasarkan senario automasi perusahaan yang lebih luas. Anthropic membuat gelombang pada bulan Oktober 2024 dengan memperkenalkan ciri dengan nama yang sama,”Penggunaan Komputer,”untuk model Sonnet Claude 3.5, yang membolehkannya menguruskan tugas desktop. Google juga dikenali untuk membangunkan keupayaan yang sama di bawah nama Projek Mariner. Kemasukan Microsoft, yang ditempatkan di dalam alat Copilot Studio (yang mengintegrasikan dengan platform kuasa), mensasarkan kedua-dua web (penyokong Edge, Chrome, dan Firefox mengikut blog rasmi) dan persekitaran desktop, yang berpotensi menawarkan skop automasi yang lebih luas daripada pengendali, berjalan secara langsung pada infrastruktur awan Microsoft. src=”https://winbuzzer.com/wp-content/uploads/2025/04/microsoft-copilot-studio-computer-use-sool-official.jpg”>

Kawalan mesin mudah.”Jika seseorang boleh menggunakan aplikasinya, ejen itu juga boleh,”

Menurut Microsoft,”Ia menyesuaikan diri dalam masa nyata menggunakan alasan terbina dalam untuk menyelesaikan masalah sendiri, jadi kerja berterusan tanpa gangguan.”Membina automasi ini melibatkan menerangkan tugas yang dikehendaki dalam bahasa semulajadi, dan pemaju mendapatkan maklum balas video masa nyata yang menunjukkan langkah-langkah yang dirancang oleh ejen untuk penghalusan yang lebih mudah. Syarikat baru-baru ini terperinci ejen khusus lain untuk Microsoft 365 (‘penyelidik’dan’penganalisis’) dan keselamatan siber, dan melancarkan model Yayasan Magma AI Multimodal pada Februari 2025, yang direka untuk tugas interaksi yang kompleks yang melibatkan visi dan tindakan. Faedah ciri penggunaan komputer dari latar belakang ini, secara teorinya membolehkannya memahami dan berinteraksi dengan GUI dengan lebih bijak.

Microsoft menjamin pelanggan perusahaan bahawa proses berjalan dalam persekitaran awan Azure, data tidak digunakan untuk melatih teras AI, dan pentadbir mempunyai pengawasan. Blog rasmi mencatatkan bahawa”pembuat dapat melihat sejarah aktiviti penggunaan komputer pada kehendak, termasuk tangkapan skrin yang ditangkap dan langkah-langkah pemikiran.”Walau bagaimanapun, memberikan AI kunci untuk mengendalikan antara muka perisian secara semulajadi membawa pertimbangan keselamatan menjadi fokus.

Penyelidik keselamatan sebelum ini telah menunjukkan risiko yang berpotensi, menunjukkan bagaimana alat ejen AI yang sama boleh secara teorinya dieksploitasi untuk tujuan berniat jahat seperti serangan pancingan data yang canggih jika tidak selamat. Mengatasi keseimbangan yang betul antara fungsi dan keselamatan akan menjadi kunci.

Ciri”penggunaan komputer”kini tersedia sebagai pratonton penyelidikan akses awal. Pihak yang berminat memerlukan persekitaran pratonton yang terletak di Amerika Syarikat untuk memohon melalui Borang pendaftaran Microsoft . Microsoft menunjukkan lebih banyak maklumat akan datang pada Membina persidangan pemaju pada Mei 2025 .