Pengambilalihan Pekerjaan AI? Belum, agen mengecewakan dengan tingkat keberhasilan 25% rendah dalam studi otomatisasi bisnis

Di mana agen gagal

Analisis kegagalan menunjukkan keterbatasan mendasar dalam kemampuan agen. Akal sehat dasar sering tampak tidak ada; Agen mungkin memperlakukan file”.docx”seperti teks biasa atau, sebagaimana dicatat dalam satu sumber, terbukti tidak dapat mengabaikan file”pop-up”yang tidak berbahaya”yang memblokir file yang diperlukan. Keterampilan sosial juga lemah, dengan agen menggunakan sistem rocketchat yang disimulasikan salah menafsirkan percakapan atau gagal menindaklanjuti dengan tepat.

Para peneliti mendokumentasikan satu contoh di mana agen, tidak dapat menemukan kontak yang benar dalam sistem obrolan,”memutuskan untuk membuat solusi jalan pintas dengan mengganti nama pengguna lain ke nama pengguna yang dimaksud.”Menavigasi UI Web yang kompleks terbukti sangat sulit, terutama di dalam lingkungan OwnCloud Office Suite. Para peneliti secara luas mengidentifikasi titik kegagalan umum sebagai kurangnya akal sehat, keterampilan sosial yang buruk, dan ketidakmampuan dalam penelusuran web.

Kemajuan yang tidak merata di berbagai jenis pekerjaan

Kinerja tidak seragam di seluruh kategori tugas. Agen umumnya bernasib lebih baik dengan tugas rekayasa pengembangan perangkat lunak (SDE) dibandingkan dengan peran dalam administrasi, keuangan, atau ilmu data, di mana tingkat keberhasilan sering mendekati nol. Para peneliti berhipotesis perbedaan ini mungkin berasal dari sejumlah besar kode publik yang tersedia untuk model pelatihan pada tugas SDE, sedangkan alur kerja untuk pekerjaan administrasi atau keuangan seringkali bersifat kepemilikan dan kurang terwakili dalam data pelatihan.

Kemampuan untuk berinteraksi dengan platform yang berbeda juga bervariasi. Agen menunjukkan kesulitan khusus dengan tugas-tugas yang melibatkan platform komunikasi Rocketchat dan suite Office Owncloud, menunjukkan bahwa penalaran sosial dan navigasi Web UI yang kompleks tetap menjadi rintangan utama. Kinerja pada tugas yang melibatkan GitLab (Hosting Kode) dan Plane (Manajemen Proyek) relatif lebih baik, meskipun masih jauh dari dapat diandalkan.

Pemeriksaan realitas untuk ambisi otomatisasi

Hasil tolok ukur ini memberikan kontras yang sangat besar dengan ekspektasi tinggi dan upaya pengembangan yang berkelanjutan dalam industri teknologi. Microsoft mulai melihat pratinjau agen”Penggunaan Komputer”di Copilot Studio pada April 2025, yang bertujuan untuk mengotomatiskan interaksi GUI. Openai dilaporkan mengeksplorasi agen penelitian”tingkat PhD”berbiaya tinggi untuk otomatisasi perusahaan pada awal Maret 2025.

Mungkin yang paling mengejutkan, rencana yang terkait dengan inisiatif Doge Elon Musk muncul pada akhir April, yang melibatkan perekrutan untuk proyek yang bertujuan 7 tahun. Proposal ini disambut dengan skeptisisme internal dalam jaringan alumni Palantir, dengan satu kritikus balasan,”Anda terlibat dalam memecat karyawan federal 70k dan menggantinya dengan koreksi autokrek yang menyebalkan.”Temuan THEAGENTCOMPANY menggarisbawahi pertanyaan kelayakan seputar rencana otomatisasi skala besar seperti itu.

Perjuangan agen dalam patokan selaras dengan kelemahan yang diketahui yang melekat dalam model AI saat ini. Kepala Petugas Keamanan Informasi Antropik memperingatkan pada bulan April 2025 bahwa industri tidak siap untuk tantangan keamanan dan manajemen yang ditimbulkan oleh”karyawan virtual”yang otonom, menyoroti masalah-masalah yang diketahui seperti halusinasi AI dan kerentanan untuk mendorong injeksi.

Badan-agen yang terjadi dengan tantangan yang dikembangkan, baru-baru ini. Kebijakan perusahaan yang tidak ada pada akhir April 2025. Para peneliti Carnegie Mellon menyimpulkan bahwa sementara agen dapat mempercepat bagian dari pekerjaan manusia, mereka”kemungkinan bukan pengganti untuk semua tugas saat ini.”

Mereka menarik paralel ke pasar translasi manusia, di mana efisiensi menghasilkan peningkatan permintaan daripada displacement. Perusahaan yang saat ini bereksperimen dengan agen, seperti Johnson & Johnson, menekankan menjaga manusia terlibat, melihat AI sebagai alat untuk kolaborasi daripada penggantian untuk masa mendatang.