MiniMax, startup AI berbasis di Singapura yang didukung oleh Alibaba dan Tencent, telah meluncurkan serangkaian model AI baru yang menampilkan 4 juta jendela konteks token yang memecahkan rekor.
Rilis MiniMax-Text-01 dan MiniMax-VL-01 memposisikan perusahaan ini sebagai pesaing serius bagi perusahaan mapan pemain seperti OpenAI dan Google, menawarkan kemampuan tingkat lanjut untuk aplikasi yang membutuhkan memori berkelanjutan dan penanganan input yang ekstensif.
Model-model tersebut, dirancang untuk menangani tugas-tugas yang melibatkan dokumen panjang, penalaran kompleks, dan input multimodal, menandai lompatan maju dalam AI skalabilitas dan keterjangkauan. Pengumuman MiniMax menyoroti fokusnya pada pengembangan agen AI, mengatasi meningkatnya permintaan akan sistem yang mampu memproses konteks yang diperluas.
MiniMax-Text-01 menampilkan total 456 miliar parameter, dengan 45,9 miliar diaktifkan per token selama inferensi. Dirancang untuk pemrosesan konteks panjang yang efisien, ia menggunakan mekanisme perhatian hibrid yang menggabungkan lapisan linier dan SoftMax untuk mengoptimalkan skalabilitas. Model ini mendukung jendela konteks hingga 1 juta token selama pelatihan, hingga mencapai 4 juta token dalam inferensi.
Dilengkapi dengan Modul Vision Transformer (ViT), Model MiniMax-VL-01 disesuaikan untuk aplikasi multimoda. Ini memproses 512 miliar token bahasa visi menggunakan alur pelatihan empat tahap yang terstruktur, memastikan kinerja yang kuat dalam tugas-tugas yang memerlukan integrasi data visual dan tekstual.
Apa Arti 4 Juta Token bagi AI Pengembangan
Jendela konteks dalam model AI menentukan berapa banyak informasi yang dapat diproses secara bersamaan, dengan setiap token mewakili fragmen data seperti kata atau tanda baca.
Kapasitas 4 juta token MiniMax-Text-01 secara signifikan melampaui standar industri , termasuk GPT-4 OpenAI (32.000 token) dan Gemini 1.5 Pro Google (2 juta token).
Menurut MiniMax, kapasitas yang diperluas ini memungkinkan model mereka untuk memproses volume data yang setara dengan beberapa buku dalam satu pertukaran.
Perusahaan menyatakan di akun X-nya, “MiniMax-01 secara efisien memproses hingga 4 juta token—20 hingga 32 kali lipat kapasitas model terkemuka lainnya. Kami yakin MiniMax-01 siap mendukung antisipasi lonjakan aplikasi terkait agen di tahun mendatang, karena agen semakin memerlukan kemampuan penanganan konteks yang lebih luas dan memori yang berkelanjutan.”
MiniMax-01 Kini Kini Sumber Terbuka: Meningkatkan Perhatian Kilat untuk Era Agen AI
Kami sangat senang memperkenalkan model sumber terbuka terbaru kami: model bahasa dasar MiniMax-Text-01 dan model multi-modal visual MiniMax-VL-01.
💪Perhatian Kilat Inovatif… pic.twitter.com/LbJhhmxD4P
— MiniMax (resmi) (@MiniMax__AI) 14 Januari 2025
Kemampuan ini membuka pintu untuk penerapan di berbagai bidang seperti penelitian analisis, pemrosesan dokumen hukum, dan simulasi berbasis AI, yang mengharuskan penanganan kumpulan data berukuran besar.
Gambar: MiniMax
Teknologi di Balik MiniMax-01
Di jantung model baru MiniMax terdapat “arsitektur Lightning Attention”, sebuah sistem hybrid yang menggabungkan lapisan perhatian linier dan “SoftMax”. Berbeda dengan model trafo tradisional, yang menskalakan kompleksitas komputasi secara kuadrat dengan ukuran masukan, Lightning Attention mencapai skalabilitas mendekati linier, sehingga memungkinkan pemrosesan rangkaian panjang secara efisien.
Selain itu, model ini mengintegrasikan Kerangka Kerja Campuran Pakar (MoE), yang terdiri dari 32 sub-model, atau “pakar”, yang diaktifkan secara selektif bergantung pada tugasnya.
Desain ini mengoptimalkan sumber daya komputasi sekaligus mempertahankan kinerja tinggi. Teknologi pendukung seperti Varlen Ring Attention, yang meminimalkan pemborosan komputasi untuk rangkaian panjang variabel, dan Optimasi kernel CUDA semakin meningkatkan skalabilitas dan efisiensi model.
Tolok Ukur dan Kinerja
Kedua model MiniMax-01 telah menunjukkan hasil yang kompetitif pada tolok ukur standar industri. Misalnya, MiniMax-Text-01 mencapai akurasi 100% dalam pengujian Needle-in-a-Haystack dengan konteksnya yang diperluas, menyamai Gemini 1.5 Pro dari Google.
Sumber: MiniMax
Pada tugas multimodal, MiniMax-VL-01 unggul dalam evaluasi bahasa visi, dengan akurasi 96,4% pada DocVQA dan 91,7% pada tolok ukur AI2D.
Sumber: MiniMax
Meskipun ada pencapaian ini, para ahli mengingatkan bahwa tolok ukur seperti Needle-in-a-Haystack mungkin tidak sepenuhnya mencerminkan aplikasi dunia nyata. Studi menunjukkan bahwa meskipun jendela konteks yang besar sangat berharga, efektivitasnya bergantung pada cara penggunaannya, terutama dalam tugas-tugas yang memerlukan pembuatan augmentasi pengambilan (RAG).
Aksesibilitas dan Harga Kompetitif
MiniMax telah menyediakan modelnya di platform seperti GitHub dan Memeluk Wajah, serta melalui platform Hailuo AI miliknya.
Pengembang juga dapat mengaksesnya melalui API dengan harga yang sangat kompetitif: $0,20 per juta token masukan dan $1,10 per juta token keluaran. Harga ini jauh lebih murah dari API GPT-4 OpenAI, yang mengenakan biaya $2,50 per juta token masukan.
Namun, Lisensi MiniMax mencakup batasan. Misalnya, platform dengan lebih dari 100 juta pengguna aktif bulanan harus mendapatkan izin khusus, dan model tersebut tidak dapat digunakan untuk meningkatkan sistem AI saingannya. Kondisi ini mungkin membatasi penerapannya di kalangan perusahaan besar.
Tantangan Etis dan Konteks Peraturan
MiniMax menghadapi pengawasan berkelanjutan terkait penggunaan materi berhak cipta dalam kumpulan data pelatihan. Layanan streaming Tiongkok iQiyi telah mengajukan gugatan yang menuduh perusahaan tersebut melakukan tindakan tidak sah penggunaan rekamannya, sementara aplikasi Talkie MiniMax, yang menampilkan avatar tokoh masyarakat yang dihasilkan AI, telah dihapus dari App Store Apple pada bulan Desember 2024 karena alasan yang tidak ditentukan pelanggaran.
Masalah ini muncul ketika kontrol ekspor AS terhadap teknologi AI diperketat. Peraturan baru, yang diumumkan oleh pemerintahan Biden, bertujuan untuk membatasi penjualan chip dan teknologi AI canggih kepada perusahaan-perusahaan Tiongkok. Tindakan ini dapat mempersulit akses MiniMax ke perangkat keras yang diperlukan untuk melatih dan menskalakan modelnya.
MiniMax dalam Lanskap AI yang Kompetitif
Didirikan pada tahun 2021 oleh mantan karyawan dari SenseTime, MiniMax dengan cepat memperluas portofolionya, mulai dari model teks dan multimodal hingga generator video. Model Video-01 dari platform Hailuo AI mendapat perhatian karena kemampuannya menghasilkan video yang realistis, khususnya unggul dalam bidang seperti gerakan tangan manusia—sebuah aspek yang menantang dalam pembuatan video.
Meskipun MiniMax telah memposisikan dirinya sebagai model yang hemat biaya. Sebagai alternatif yang efektif bagi raksasa industri, kemampuannya untuk mengatasi tantangan hukum dan peraturan akan sangat penting bagi pertumbuhannya yang berkelanjutan.
