Google telah memperkenalkan Gemini Embedding, model pemrosesan teks bertenaga AI yang sekarang diintegrasikan ke dalam Gemini API.
Model tersebut telah mengklaim tempat teratas pada embel pijat embedding (pactasbmark.co/blog/mteb”> embedding pijat mssive (piala mama miske.co/blog/mteB”> MISSIVE TEKS JUMIT ( Cohere, dan qwen dalam berbagai tugas pemrosesan bahasa alami (NLP).
Embedding Gemini dan model embedding lainnya mengubah teks menjadi representasi numerik (vektor) untuk memungkinkan pencarian semantik, sistem rekomendasi, dan pengambilan dokumen. Mereka memungkinkan peringkat pencarian yang lebih cerdas (seperti pencarian Google), pengambilan dukungan pelanggan bertenaga AI, pengelompokan dokumen, dan mesin rekomendasi.
Menurut Google , “Model yang embali Geminion, Model Model, Model Modal, Model Modal, Model Model Mulut, Model Modal Membing, Model Modal Membing Teks, Model Mulding,“ Modal Mulut Gemalbing, Model Mulding, Model Membing Multion, Model Membing Multion, Model Mulding, Model Model Membing Teks. clustering, classification, and reranking tasks.”
MTEB Benchmark Relevance
As AI-powered search and NLP technologies become increasingly sophisticated, benchmarks like MTEB serve as critical evaluation tools. Created by Hugging Face, MTEB tests AI models on more than 50 datasets, assessing their ability to rank, categorize, dan mengambil data tekstual.
mteb leaderboard , peringkat standar industri, mengevaluasi kinerja dalam retrieval, klasifikasi, clustering, dan rering. Gemini Embedding achieved a mean task score of 68.32, outperforming Linq-Embed-Mistral and gte-Qwen2-7B-instruct, both of which scored in the low 60s.
Key results included an 85.13 in pair classification, 67.71 in retrieval, and 65.58 in reranking, making it the highest-performing text embedding model currently Tersedia.
Gambar: Google
Skor yang lebih tinggi pada tolok ukur ini menunjukkan peningkatan kinerja dalam aplikasi dunia nyata seperti mesin pencari bertenaga AI, analisis dokumen, dan optimasi chatbot.
Perusahaan yang ingin mengintegrasikan AI ke dalam platform mereka sering mengandalkan skor ini untuk menentukan model mana yang paling sesuai dengan kebutuhan mereka. Kepemimpinan Google saat ini dalam ruang ini menandakan dorongannya untuk membuat Gemini menanamkan solusi yang lebih disukai untuk pemrosesan teks yang digerakkan oleh AI.
Bagaimana Gemini embedding dapat membentuk kembali pencarian AI dan aplikasi bisnis untuk AIPE-SOLUSI PENGETAHAN AIPEDE. Model penyematan berfungsi sebagai dasar untuk algoritma peringkat pencarian, mesin rekomendasi, dan respons chatbot.
Model dengan pengambilan tinggi dan skor klasifikasi meningkatkan kemampuan AI untuk menghasilkan hasil pencarian yang lebih relevan, membuat Penggunaan Pencarian AII yang relevan untuk Layanan Pencarian yang relevan. Hasil pencarian. Perusahaan saat ini sedang menguji mode AI baru untuk Pencarian Google, yang menyediakan hasil pencarian yang digerakkan oleh AI yang menggantikan tautan tradisional dengan jawaban yang dihasilkan AI.
Di luar pencarian, kemahiran multibahasa Gemini menempelkannya sebagai alat untuk meningkatkan aplikasi lintas bahasa. Model AI yang berkinerja baik dalam tugas pengambilan sangat penting untuk bisnis yang beroperasi dalam berbagai bahasa, karena mereka membantu meningkatkan akurasi terjemahan, otomatisasi layanan pelanggan, dan peringkat konten.
Ini membuat Gemini menanamkan aset yang berpotensi untuk industri seperti awan, dan dokumentasi lego, dan dukungan teknis. analitik, pencarian semantik dalam database, dan pengambilan data otomatis untuk penelitian dan kecerdasan bisnis.
Kemampuan model untuk mengungguli pesaing dalam tugas peringkat dan pengelompokan menunjukkan bahwa bisnis yang mengandalkan Organisasi Konten yang Didorong AI: Kompetasi Kuat: Kompetasi Kuat AI dengan Kompetisi AI Basis AI. Alternatif
Google telah menyempurnakan model embedding teks selama bertahun-tahun, tetapi iterasi sebelumnya, termasuk teks-multofis-embedding-002, berjuang untuk mempertahankan dominasi atas alternatif open-source yang lebih besar, yang membuat solusi yang lebih besar, yang menopang solusinya, yang menopang solusinya, yang tidak ada dalam solusi, yang tidak ada dalam solusi, yang tidak ada solusi yang mengintegrasikan solusi, yang tidak ada solusi yang lebih besar, yang tidak ada solusi, yang tidak ada solusi, yang tidak disukai. Untuk perusahaan yang sudah menggunakan alat AI berbasis cloud. Namun, kemajuan cepat dari pesaing menunjukkan bahwa tolok ukur MTEB di masa depan mungkin menjadi lebih kompetitif.
Meskipun Google saat ini memimpin dalam peringkat MTEB, ruang embedding teks AI tetap kompetitif, terutama dengan alternatif open-source yang menantang model kepemilikan. Perusahaan seperti Cohere dan Mistral dengan cepat mendapatkan daya tarik, menawarkan transparansi dan fleksibilitas yang beberapa perusahaan lebih suka daripada solusi sumber tertutup.
Keuntungan utama dari model kepemilikan seperti Gemini yang menanamkan terletak pada integrasi mendalam mereka dengan ekosistem AI Google yang lebih luas. Namun, model open-source memberikan kemampuan beradaptasi yang lebih besar untuk bisnis yang membutuhkan implementasi khusus. The question moving forward is whether Google can sustain its leadership in AI text processing as competition intensifies.
AI Model Benchmarks – LLM Leaderboard
Last updated: Mar 7, 2025
OrganizationModelContextParameters (B)Input $/M output $/m lisensi gpqa mmlu mmlu pro drop humaneval AIME AIME’24 humaneval AIME AIME’24 Sederhana AIME AIME’24 Sederhana AIME’AIME’O3128.000 ––– Proprietary87.70%–––– O3 Antropik Claude 3.7 sonnet200.000– $ 3,00 $ 15.00 Proprietary84.80%86.10%––-80.00%46.4%Claude 3.7 Sonnet XAA Grok-3128,000–––Proprietary84.60%–79.90%––93.30%Grok-3 xai Grok-3 Mini128,000–––Proprietary84.60%–78.90%––90.80%Grok-3 Mini openai o3-mini200,000–$1.10 $4.40 Hak Milik79,70%86,90%––– 86,50%22,8%O3-mini OpenAI O1-PRO128.000 ––– Proprietary79,00%––– 86,00%O1-PRO OpenAI O1200,000-$ 15,00 $ 60,00 Proprietary78%o11,8%o10,00-$ 60%$ 60%$ 60%-$ 60%-$ 60%-$ Gemini 2.0 Flash Thinking1,000,000–––Proprietary74.20%––––73.30%30.7%Gemini 2.0 Flash Thinking openai o1-preview128,000–$15.00 $60.00 Proprietary73.30%90.80%–––44.60%41.7%o1-preview deepseek DeepSeek-R1131,072671$0.55 $ 2,19 Open71,50%90,80%84,00%92,20%–79,80%30,9%Deepseek-R1 OpenAigpt-4,5128,000 ––– Proprietary71,4%90,0%—88,0%36,7%34,5%GPT-4.5 Anthropic Claude 3,0%34,7%34,5%GPT-4.5 Anthropic Claude 3,5,5,7%34,5%GPT-4.5 Anthropic claude 3,5,0,7%34,5%GPT-4.5 Anthropic claude 3,5,5,00,7%34,5%GPT-4.5 Anthropic claude 3,0,7%34,5,5,5,5%GPT-4,5,5%. Proprietary67.20%90.40%77.60%87.10%93.70%16.00%41.4%Claude 3.5 Sonnet qwen QwQ-32B-Preview32,76832.5$0.15 $0.20 Open65.20%–70.97%––50.00%QwQ-32B-Preview google Gemini 2.0 Flash1.048.576 ––– Proprietary62.10%–76.40%–– 35.5%18.9%Gemini 2.0 Flash OpenAi O1-Mini128.000– $ 3,00 $ 12.00 Proprietary60.00%85.20%80.30%–92.40%70.00%18.1%-M-Mini.9.92.40%70.00%18.1%-M-M-mini. Deepseek-V3131.072671 $ 0,27 $ 1,10 Open59,10%88,50%75,90%91,60%–39,2%18,9%Deepseek-V3 Google Gemini 1,5 Pro2.097.152– $ 2,50 $ 10.00 Proprietary59.10%85.90%75.80%74.90%84.10%19.3%27.1%Gemini 1.5 Pro microsoft Phi-416,00014.7$0.07 $0.14 Open56.10%84.80%70.40%75.50%82.60%Phi-4 xai Grok-2128,000–$2.00 $10.00 Proprietary56,00%87,50%75,50%–88,40%22,7%GROK-2 OpenAI GPT-4O128,000– $ 2,50 $ 10,00 Proprietary53,60%88,00%74,70%–– 17,8%GPT-4O Google GEMINI 1,5 FLASH1,048%$,87%$ 0,1,8%GPT-4O GPIN GEMINI 1,5,0488,57%$ 0,1,8%$ 0,1,8%$ 0,1,8%GPT-4O GPT-4O GPIN GEMINI 1,5 GPT-4O 1,5. Proprietary51.00%78.90%67.30%–74.30%Gemini 1.5 Flash xai Grok-2 mini128,000–––Proprietary51.00%86.20%72.00%–85.70%Grok-2 mini meta Llama 3.1 405B Instruct128,000405$0.90 $0.90 OPEN50.70%87.30%73.30%84.80%89.00%23.0%Llama 3.1 405b Instruksi Meta Llama 3.3 70b Instruksi128.00070 $ 0.20 $ 0.20 Open50.50%86.00%68.90%–88.40%19.9%LLama 3.3 70%68.90%–88.48%19.3.3.3.3.3.3 70.3.3.3 70%–88.48%LLama. Proprietary50.40%86.80%68.50%83.10%84.90%23.5%Claude 3 Opus qwen Qwen2.5 32B Instruct131,07232.5––Open49.50%83.30%69.00%–88.40%Qwen2.5 32B Instruct qwen Qwen2.5 72B Instruct131,07272.7$0.35 $0.40 Open49.00%–71.10%–86.60%23.30%Qwen2.5 72B Instruct openai GPT-4 Turbo128,000–$10.00 $30.00 Proprietary48.00%86.50%–86.00%87.10%GPT-4 Turbo amazon Nova Pro300,000–$0.80 $3.20 Proprietary46,90%85,90%–85,40%89,00%Nova Pro Meta Llama 3.2 90B Instruks Instruktur131.07214.7–-open45.50%79.70%63.70%–83.50%Qwen2.5 14b Instruksi Mistral Mistral Kecil 332.00024 $ 0,07 $ 0,14 Open45.30%–66.30%–84.80%MATRAL KECIL 3 QWEN QWEN QWEN2 72B Instruktur131.07272–-open42.40%82.30%64.40%–86.00%Qwen2 72b menginstruksikan Amazon Nova Lite300.000-$ 0,06 $ 0,24 Proprietary42,00%80,50%–80,20%85,40%NOVA LITE META LLAMA 3.1 70%–80,20%85,40%NOVA LITE META LLAMA 3.1 70 %.12% Open41,70%83,60%66,40%79,60%80,50%llama 3.1 70b menginstruksikan antropik claude 3.5 haiku200,000-$ 0,10 $ 0,50 milik 41,60%–65,00%83,10%88,10%claude 3,5 haIKu anthropic claude 3,5,00%83,10%88,10%claude 3,5 haIku anthropic claude 3.5 00%CLAUDE 3.5 HAIKU Anthropic. Proprietary40,40%79,00%56,80%78,90%73,00%Claude 3 Sonnet OpenAi GPT-4O Mini128,000-$ 0,15 $ 0,60 Proprietary40,20%82,00%–79,70%87,20%10,7%GPT-4O Mini Amazon NoHon NOVO NOVO NOVON12%87,20%10,7%GPT-4O MINI UMAZA NOVON NOVON NOVOUS NOVOUS NOVON1,70%87,20%10,7%GPT-4O MINI UMAZA NOVON NOVON NOVO NOVO1,70,20% Proprietary40.00%77.60%–79.30%81.10%Nova Micro google Gemini 1.5 Flash 8B1,048,5768$0.07 $0.30 Proprietary38.40%–58.70%––Gemini 1.5 Flash 8B ai21 Jamba 1.5 Large256,000398$2.00 $8.00 Open36,90%81,20%53,50%–– JAMBA 1,5 Microsoft PHI-3,5-MoE-instruct128,00060-open36,80%78,90%54,30%–70,70%Phi-3,5-moe-moe-qwen qwen2.5 7B 7B 7B131,0727.6077.307.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30.30%$ 0.307.30.30%$ 0.30.30%$ 0.30.30%$ 0.302% Open36.40%–56.30%–84.80%Qwen2.5 7b Instruksi XAI GROK-1.5128.000 –– Proprietary35.90%81.30%51.00%–74.10%GROK-.5 OpenAI GPT-432.768– $ 30.00 $ 60.00 Proprietary35.70%86,40%–80,90%67,00%25,1%GPT-4 Anthropic Claude 3 Haiku200,000-$ 0,25 $ 1,25 Proprietary33,30%75,20%–78,40%75,90%Claude 3 HaIKu Meta LlAMA,2,40%75,90%CLAUDE 3 HAIKU META LLOMA,2,2,40%75,90%CLAUDE 3 HAIKU META LLOMA,2,2,40%75,90%CLAUDE 3 HAIKU META LLOMA,2,2,40%75,90%CLAUDE 3 HAIKU META LLOMA,2,2,40%75,90%CLAUDE 3 HAIKU META LLOMA, Open32.80%73,00%––– llama 3.2 11b Instruksi Meta Llama 3.2 3B Instruksi128.0003.2 $ 0,01 $ 0,02 OPEN32.80%63,40%––– llama 3.2 3b Instruksi AI21 JAMBA 1,5 MINI256,14452 $ 0,20 $ 0,5,40 MINL32,4,5%4,5,5,5%4,5,5,5%4,5,5,5,5,4,14452 $ 0,20 $ 0.4.42.42.42.30%MINI256%$ 0.42.4BA 6.42.4BA 6.42.4. OpenAI GPT-3.5 Turbo16.385– $ 0,50 $ 1,50 Proprietary30,80%69,80%–70,20%68,00%GPT-3,5 Turbo Meta Llama 3.1 8B Instruksi131,0728 $ 0,03%$ 0,03%Open30,40%69,40%48,30%48,30%$ 0,03%$ 0,03%$ 0,03%$ 0,03%$ 0,03%$ 0,03%$ 0,03%$ 0,03%$ 0,03 Phi-3.5-mini-instruct128,0003.8$0.10 $0.10 Open30.40%69.00%47.40%–62.80%Phi-3.5-mini-instruct google Gemini 1.0 Pro32,760–$0.50 $1.50 Proprietary27.90%71.80%–––Gemini 1.0 Pro qwen Qwen2 7B Instruktur131.0727.6–-open25.30%70.50%44.10%–– QWEN2 7B Instruksi Mistral Codestral-22B32.76822.2 $ 0,20 $ 0,60 Open ––– 81,10%CODESTRAL-22B COMMAND COHERE R+ 128,000104 $ 0,25 $ 1,25%$ 1,00-81,10%CODESTRAL-22B COMAND-22B Deepseek-V2.58.192236 $ 0,14 $ 0,28 Terbuka-80,40%–– 89,00%Deepseek-V2.5 Google GEMMA 2 27B8.19227.2–open-75.20%—51.80%GEMMA 2 27B Google GEMMA 2 9B8.19.19.2. 9B XAI GROK-1.5V128.000 ––– Hak Milik –––– Grok-GROK-1.5V Moonshotai Kimi-K1.5128.000 ––– Proprietary-87.40%–– KIMI-K1.5 NVIDIA LLAMA 3.1 Nemotron 70B Instruksi 70B Instruksikan Mistral Ministral 8B Instruktur128,0008 $ 0,10 $ 0,10 Terbuka-65,00%–– 34,80%Ministral 8b Instruksi Mistral Mistral besar 2128,000123 $ 2,00 $ 6,00 Terbuka-84,00%–– 92,00%22,5%MADRAL BESAR 2. MISTRAL MISTRAL MISTRAL NEMO NEMO NEMO NEMO 22,00%22,5%MADRAL BESAR 2 MISTRAL MISTRAL MISTRAL NEMO NEMO NEMO NEMO 22,002%22,5%MADRAL 2 MISTRAL MISTRAL MISTRAL NEMO NEMO NEMO NEMO NEMO 22,0022%22,5%MADRAL 2 MISTRAL MISTRAL MISTRAL NEMO NEMO NEMO NEMO NEMO NEMO2 Open–68.00%–––Mistral NeMo Instruct mistral Mistral Small32,76822$0.20 $0.60 Open–––––Mistral Small microsoft Phi-3.5-vision-instruct128,0004.2––Open–––––Phi-3.5-vision-instruct mistral Pixtral-12B128,00012.4$0.15 $0.15 Terbuka-69,20%–– 72,00%Pixtral-12b Mistral Pixtral Besar128.000124 $ 2,00 $ 6,00 Terbuka –––– PIXTRAL QWEN QVQ-72B-PREVIEW32.76873.4——-qvq-72b-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview-preview $ 0,09 Terbuka-75,10%50,40%–92,70%QWEN2.5-Coder 32B Instruks QWEN2-VL-72B-INSTRUCT32,76873.4––-open –––– Qwen2-VL-72B-instruct
Related Posts
Artikel ini membahas fitur baru di Windows 11 yang memungkinkan pengguna untuk menampilkan atau menyembunyikan lencana pemberitahuan perangkat seluler di menu start melalui aplikasi tautan telepon. Dengan mengakses aplikasi
Artikel ini merinci cara menampilkan atau menyembunyikan konten perangkat seluler terbaru di menu start di Windows 11 menggunakan aplikasi tautan telepon. Pembaruan terbaru memungkinkan pengguna untuk mempersonalisasikan bintang mereka
Manus AI China telah muncul sebagai pemimpin baru dalam AI otonom, mengungguli pesaing seperti Openai dan Google dalam tolok ukur GAIA, meningkatkan kekhawatiran peraturan. Posting AU baru China