Bild: Google
Höhere Ergebnisse in diesem Benchmark geben eine verbesserte Leistung in realen Anwendungen wie KI-betriebene Suchmaschinen, Dokumentenanalysen und Chatbot-Optimierung an. Die derzeitige Führung von Google in diesem Raum signalisiert den Vorstoß, Gemini eine bevorzugte Lösung für die AI-gesteuerte Textverarbeitung einzubetten. Die Einbettungsmodelle dienen als Grundlage für Suchranking-Algorithmen, Empfehlungsmotoren und Chatbot-Antworten. Das Unternehmen testet derzeit einen neuen KI-Modus für die Google-Suche, die rein KI-gesteuerte Suchergebnisse liefert, die traditionelle Links durch Antworten mit AI-generierten Antworten ersetzen. KI-Modelle, die bei Abrufaufgaben gut abschneiden, sind für Unternehmen, die in mehreren Sprachen arbeiten, von entscheidender Bedeutung, da sie die Übersetzungsgenauigkeit, die Kundendienstautomatisierung und das Inhaltsranking verbessern. Analytik, semantische Suche in Datenbanken und automatisiertes Datenabruf für Forschung und Business Intelligence. Alternativen
Google verfeinert seit Jahren seine Texteinbettungsmodelle, aber frühere Iterationen, einschließlich der auftretenden Open-Source-Alternativen, die die Dominanz über aufkommende Open-Source-Alternativen aufrechterhalten. Enterprises verwenden bereits seine Cloud-basierten KI-Tools. Die schnellen Fortschritte von Wettbewerbern deuten jedoch darauf hin, dass zukünftige MTEB-Benchmarks noch wettbewerbsfähiger werden können.
Obwohl Google derzeit in MTEB-Ranglisten führt, bleibt der Raum für KI-Textbetten weiterhin wettbewerbsfähig, insbesondere mit Alternativen mit offenen Quellen, die proprietäre Modelle herausfordern. Unternehmen wie Cohere und Mistral haben schnell an Traktion gewonnen und bieten Transparenz und Flexibilität, die einige Unternehmen gegenüber Lösungen für geschlossene Quellen bevorzugen. Open-Source-Modelle bieten jedoch mehr Anpassungsfähigkeit für Unternehmen, die spezialisierte Implementierungen erfordern. Die Frage ist, ob Google seine Führung in der AI-Textverarbeitung aufrechterhalten kann, wenn sich der Wettbewerb intensiviert. $/MOutput $/MLicenseGPQAMMLUMMLU ProDROPHumanEvalAIME’24SimpleBenchModel openai o3128,000–––Proprietary87.70%––––o3 anthropic Claude 3.7 Sonnet200,000–$3.00 $15.00 Proprietary84.80%86.10%–––80.00%46.4%Claude 3.7 Sonnet xai Grok-3128,000–––Proprietary84.60%–79.90%––93.30%Grok-3 XAI GROK-3 MINI128.000 –––– Proprietary84.60%–78,90%––90,80%GROK-3 MINI Openai O3-Mini200.000-$ 1,10 $ 4,40 Proprietary 79,70%86,90%–– 86,50%22,8%O3-Mini Openai Openai Openai Openai Openai o1-pro128,000–––Proprietary79.00%––––86.00%o1-pro openai o1200,000–$15.00 $60.00 Proprietary78.00%91.80%––88.10%83.30%40.1%o1 google Gemini 2.0 Flash Denk 1.000.000 –––– proprietary 74,20%––––– 73,30%30,7%Gemini 2,0 Flash Think OpenAI O1-Präview128.000– $ 15,00 $ 60.00 Proprietary 73,30%90,80%––– 44,60%41,7%O1-Preview Deek Deek Deek-R113131,07271 $ $ 2.19 $ 2.19 $ 2.19 $ 2.19 Open71,50%90,80%84,00%92,20%–79,80%30,9%Deekseek-r1 OpenAigpt-4,5128.000 –––– proprietary71,4%90,0%––88,0%36,7%34,5%GPT-4,5 Anthropic Claude Proprietary67.20%90.40%77.60%87.10%93.70%16.00%41.4%Claude 3.5 Sonnet qwen QwQ-32B-Preview32,76832.5$0.15 $0.20 Open65.20%–70.97%––50.00%QwQ-32B-Preview google Gemini 2.0 Flash1.048.576 –––– proprietary62.10%–76,40%–– 35,5%18,9%Gemini 2,0 Flash Openai O1-Mini128.000-$ 3.00 $ 12,00 Proprietary60,00%85,20%80,30%$ $ 70,00%18,1%O1-Mini Deekeek-Deek Deepseek-V3131.072671 $ 0,27 $ 1,10 Open59.10%88,50%75,90%91,60%–39,2%18,9%Deepseek-V3 Google Gemini 1,5 Pro2.097.152-$ 2,50 $ 10.00 Proprietary59.10%85,90%75,80%74,90%84,10%19,3%27,1%Gemini 1,5 Pro Microsoft PHI-416.00014,7 $ 0,07 $ 0,14 Open56,10%84,80%70,40%75,50%82,60%PHI-4-XAI-GROK-1228.000– $ 2,00 $ 10,00 $ 10,00 $ 10,00 $ 10,00 $ 10%xAIGAI GROK-1228.000– $ 2,00 $ 10.00 $ 10,00 $ 10,00 $ 10%$ $ 4 xAI GROK-1228.000– $ 2,00 $ 10,00 $ 10,00 $ 10,00 $ 10%$ $ 4 xai grak-212128.000-$ $ 2,00 $ $ 10,00 $ 10,00 $ 10,00 $ $ $ 10%xai Proprietary56.00%87,50%75,50%–88,40%22,7%GROK-2 OpenAI GPT-4O128.000-$ 2,50 $ 10,00 proprietary53,60%88,00%74,70%-17,8%GPT-4o Google Gemini 1,5 Flash1,048,576–576–576–576–576–57. Proprietary51.00%78,90%67,30%–74,30%Gemini 1,5 Flash Xai GROK-2 MINI128.000 –––– proprietary51.00%86,20%72,00%–85,70%grok-2 mini meta llama Open50,70%87,30%73,30%84,80%89,00%23,0%Lama 3,1 405b Meta LLAMA 3,3 70B anweisen128.00070 $ 0,20 $ 0,20 Open50,50%86,00%68.90%$ & supmin; $ 19,9%llama 3,3 70%70BORCTE LESTUCT ANTHROPIC-APUS2-$ LLAMAH. $75.00 Proprietary50.40%86.80%68.50%83.10%84.90%23.5%Claude 3 Opus qwen Qwen2.5 32B Instruct131,07232.5––Open49.50%83.30%69.00%–88.40%Qwen2.5 32B Instruct qwen Qwen2.5 72B Anweisung131.07272,7 $ 0,35 $ 0,40 Open49.00%–71,10%$ $ $ $ $ 3,20 proprietary46,90%85,90%–85,40%89,00%Nova Pro Meta LLAMA 3,2 90B Anweisung128.00090 $ 0,35 $ 0,40 Open46,70%86,00%––– LLAMA 3,2 90B QWEN QWEN 2,5 14B 14B 14B 14B 14B 14B 14B 14b 14b 14b 14b 14b 14b 14b 14b 14b 14b. Anweisung131.07214,7–OPEN45,50%79,70%63,70%–83,50%QWEN 2,5 14B anweisen. Anweisung131.07272–OPEN42.40%82,30%64,40%–86,00%QWEN2 72B Amazon Nova Lite300.000-$ 0,06 $ 0,24 ProPrietary42,00%80,50%–80,20%85,40%0,24 Nova Lite Meta llama Open41.70%83.60%66.40%79.60%80.50%Llama 3.1 70B Instruct anthropic Claude 3.5 Haiku200,000–$0.10 $0.50 Proprietary41.60%–65.00%83.10%88.10%Claude 3.5 Haiku anthropic Claude 3 Sonnet200,000–$3.00 $15.00 Proprietary40,40%79,00%56,80%78,90%73,00%Claude 3 Sonnet Openai GPT-4O mini128.000-0,15 USD 0,60 $ proprietary40,20%82,00%–79,70%87,20%10,7%GPT-4o mini Amazon Amazon Nova Micro128.000-$ 0.14o mini mini Proprietary40.00%77.60%–79.30%81.10%Nova Micro google Gemini 1.5 Flash 8B1,048,5768$0.07 $0.30 Proprietary38.40%–58.70%––Gemini 1.5 Flash 8B ai21 Jamba 1.5 Large256,000398$2.00 $8.00 Open36,90%81,20%53,50%––– Jamba 1,5 großer Microsoft-Phi-3,5-MOE-Instruct128.00060-Open36,80%78,90%54,30%–70,70%Phi-3,5-Moe-Instruct qwen qwen2.5 7b Instruct13131,0727.6 $ 0.30 $ 0.30 $ 0.30 $ 0,30 $ 0,30 $ 0,30 $ 0,30 $ 0,30 $ 0,30 $ 0,30 $ 0.30 $ Open36.40%–56.30%–84.80%Qwen2.5 7B Instruct xai Grok-1.5128,000–––Proprietary35.90%81.30%51.00%–74.10%Grok-1.5 openai GPT-432,768–$30.00 $60.00 Proprietary35,70%86,40%–80,90%67,00%25,1%GPT-4 Anthropic Claude 3 Haiku200.000-0,25 $ 1,25 $ 1,25 proprietary33,30%75,20%–78,40%75,90%claude 3 Haiku meta llama Open32,80%73,00%––– Lama 3,2 11b Meta LLAMA 3,2 3B unterrichtet128.0003,2 $ 0,01 $ 0,02 Open32.80%63,40%$ $ Mini OpenAI GPT-3,5 Turbo16.385-0,50 $ 1,50 $ proprietary30,80%69,80%–70,20%68,00%GPT-3,5 Turbo meta llama 3.1 8b intruct131.0728 $ 0.03 $ 0,03 Open30,40%69,40%48,30%48,30%59.50%72.60%69,40%48,30%59,50%72.60%69,40%48,30%59,50%72.60%69,40%48,30%59,50%72.60%LLAM. microsoft Phi-3.5-mini-instruct128,0003.8$0.10 $0.10 Open30.40%69.00%47.40%–62.80%Phi-3.5-mini-instruct google Gemini 1.0 Pro32,760–$0.50 $1.50 Proprietary27.90%71.80%–––Gemini 1.0 Pro qwen Qwen2 7B Anweisung131.0727,6–OPEN25,30%70,50%44,10%-qwen2 7b anweisen. Deepseek-V2,58.192236 $ 0,14 $ 0,28 Open-80,40%-89,00%Deepseek-V2,5 Google Gemma 2 27b8.19227,2–2-Open-75,20%–– 51,80%Gemma 2 27b Google Gemma 2 9B8.1929,29292,2–2–192. 9B xai Grok-1.5V128,000–––Proprietary–––––Grok-1.5V moonshotai Kimi-k1.5128,000–––Proprietary–87.40%–––Kimi-k1.5 nvidia Llama 3.1 Nemotron 70B Instruct128,00070––Open–80.20%–––Llama 3.1 Nemotron 70B unterrichten Mistral Ministral 8B 8B 128.0008 $ 0,10 $ 0,10 Offene 65,00%-34,80%Ministral 8B. Open-68,00%––– Mistral Nemo lehren Mistral Mistral Mistral 32.76822 $ 0,20 $ 0,60 Open ––––-Mistral Small Microsoft PHI-3,5-Vision-Instruct128.0004,2-Open ––––––––-4 $-VISION-INSSTRUCT 0,15 $ 0,15 $ ° $ ° $ $ $-Rtral pixtral pixtral pixtral pixtral pixtral pixtral pixtral pix-12B12800012.15 $ ° $ ° C $ ° C $-Rtral pixtral pix-12b12800012.15 $ ° $ $-Rtral PIXTRAL-12B12800012. Open-69,20%–– 72,00%Pixtral-12b Mistral Pixtral Large128.000124 $ 2,00 $ 6.00 OPEN $–––––-Pixtral Large Qvq-72B-Preview32.76873.4-Open Unterrichten128.00032 $ 0,09 $ 0,09 Open-75,10%50,40%–92,70%QWEN 2,5-CODER 32B qwen qwen2.5-coder 7b unterricht QWEN2-VL-72B-INSTRUCT32,76873.4-Open –––– qwen2-vl-72b-instruct