Nowy Model AI Google Model Embedding Model Benchmark

Google wprowadził Embedding Gemini, model przetwarzania tekstu napędzanego AI teraz zintegrowany z API GEMINI.

Model stwierdził pierwsze miejsce na masywne osadzanie tekstu (mTEB), misive rivals jako mistal, mistal, mistal, mistal, mistal, mistal, Cohere i Qwen w różnych zadaniach dotyczących przetwarzania języka naturalnego (NLP).

Według Google , „Model Bliski Model Family Family Rodzina uzyskuje najnowocześniejsze wyniki w masowym tekście SMS-ów (MTEB), wycofują się z modelu TEK TEBS. Odzyskiwanie, klastrowanie, klasyfikacja i przeglądanie zadań. “

MTEB Znaczenie porównawcze

Jako modele wyszukiwania i NLP technologie stają się coraz bardziej wyrafinowane, takie jak MTEB służą jako krytyczne narzędzia oceny. Kategoryzuj i pobieraj dane tekstowe.

MTEB Lightboard , ranking branżowy dla modeli osadzania AI, ocenia wydajność odzyskiwania, klasyfikacji, klastrowania, klastrowania i przeniesienia tasków. Osadzanie Bliźnięta osiągnęło średni wynik zadania 68,32, przewyższając LINQ-embed-mistral i gte-qwen2-7b-instrukt, oba oceniały w niskich latach 60. Dostępne.

Obraz: Google

Wyższe wyniki w tym wzniesieniu wskazują na lepszą wydajność w rzeczywistej aplikacjach, takich jak wyszukiwarki zasilane przez sztuczną inteligencję, analiza dokumentów i optymalizacja chatbota.

Firmy, które chcą zintegrować sztuczną inteligencję z platformami, często polegają na tych wynikach, aby określić, który model najlepszych pasuje do ich potrzeb. Obecne przywództwo Google w tej przestrzeni sygnalizuje jego dążenie do uczynienia Bliźnięta osadzającego preferowane rozwiązanie do przetwarzania tekstu napędzanego przez AI.

Jak osadzanie Gemini mogą przekształcić rozwiązywanie wyszukiwania i przedsiębiorstwa

Sukces Google w MTEB Rankings Signings szersze implikacje dla AI-wzmacniacze. Modele osadzania służą jako podstawa algorytmów rankingu wyszukiwania, silników rekomendacji i odpowiedzi chatbota.

Model z wysokimi wynikami pobierania i klasyfikacji zwiększa zdolność AI do generowania bardziej odpowiednich wyników wyszukiwania, co sprawia, że ​​jego wpływ jest szczególnie cenny dla wyszukiwania w Google i innych usług napędzanych przez AI. wyniki. Firma testuje obecnie nowy tryb AI dla wyszukiwania Google, który zapewnia wyniki wyszukiwania czysto oparte na AI, które zastępują tradycyjne linki odpowiedziami generowanymi przez AI.

Poza wyszukiwaniem, wielojęzyczna biegłość Gemini Embedding pozycjonuje ją jako narzędzie do ulepszania aplikacji w języku. Modele AI, które dobrze wykonują zadania odzyskiwania, mają kluczowe znaczenie dla firm działających w wielu językach, ponieważ pomagają zwiększyć dokładność tłumaczenia, automatyzację obsługi klienta i ranking treści.

To sprawia, że ​​Bliźniaczce osadzają potencjalnie przydatne zasoby dla branż, takich jak e-commerce, dokumentacja prawna i techniczna obsługa. Analityka zasilana AI, wyszukiwanie semantyczne w bazach danych oraz zautomatyzowane wyszukiwanie danych w zakresie badań i inteligencji biznesowej.

Zdolność modelu do przewyższenia konkurentów w rankingu i klastrowaniu zadań sugeruje, że firmy oparte na organizacji treści opartej na AI może skorzystać z jego integracji w zakresie integracji w chmurze AI. Alternatywy

Google od lat udoskonalało swoje modele osadzania tekstu, ale poprzednie iteracje, w tym tekst-emisling-embedding-002, starał się utrzymać dominację nad powstającymi alternatywami open source.

w przeciwieństwie do modeli open source, które oferują większą dostosowanie i przejrzystość i przejrzystość. Przedsiębiorstwa już korzystają z narzędzi AI opartych na chmurze. Jednak szybkie postępy konkurentów sugerują, że przyszłe badania odniesienia MTEB mogą stać się jeszcze bardziej konkurencyjne.

Chociaż Google prowadzi obecnie w rankingach MTEB, przestrzeń osadzania tekstu AI pozostaje konkurencyjna, szczególnie z alternatywami typu open source kwestionującym modele własne. Firmy takie jak Cohere i Mistral szybko zyskały przyczepność, oferując przejrzystość i elastyczność, że niektóre przedsiębiorstwa wolą ponad rozwiązania zamknięte. Jednak modele typu open source zapewniają większą zdolność adaptacyjną firmom, które wymagają wyspecjalizowanych wdrożeń. Pytanie do przodu brzmi, czy Google może utrzymać swoje przywództwo w przetwarzaniu tekstu AI w miarę nasilenia konkurencji.

AI Model Benchmarks-LLM liderów

Ostatnie aktualizowane: 7, 2025 Organizacja Model Parameters (B) $/M wyjście $/m licencja gpqa mmlu mmlu pro upuść humaneval aime’24 Model Openaiv O3128 000 ––– własny 87,70%–––– O3 Claude 3,7 sonet 200 000–3,00 $ 15,00 $ Zastrzelny 84,80%86,10%––– 80,00%46,4%Claude 3,7 sonnet XAI Grok-3128 000 ––-Zastawione 84,60%–79,90%-93,30%Grokuda XAI XAI Grok-312 000 XAI GROK-3 Mini128 000 ––– Własne 84,60%–78,90%–– 90,80%Grok-3 Mini OpenAI O3-MINI200 000-1,10 $ 4,40 $ Własne 79,70%86,90%–– 86,50%22,8%O3 Mini Openai O1-PRO128 000 ––– Własność 79,00%––– 86,00%O1-PRO Openai O1200 000–15,00 $ 60,00 $ Zastrzelony 78,00%91,80%–– 88,10%83,30%40,1%O1 Google Gemini 2,0 Flash Flash Myślenie 1 000 000 ––– własne 74,20%–––– 73,30%30,7%Gemini 2.0 Flash Thinking Openai O1-Preview128 000–15,00 $ 60,00 $ Własne 73,30%90,80%––– 44,60%41,7%O1-Preview Deepseek-R1131 072671 $ 0,55 2,19 Otwarte 71,50%90,80%84,00%92,20%–79,80%30,9%DeepSeek-R1 OpenAIGPT-4,5128 000 ––– Własne 71,4%90,0%–– 88,0%36,7%34,5%GPT-4,5 antropic Claude 3,5 Sonnet 200 000–3,00 $ 15,00 $ 15,00 $ Zastrzelone 67,20%90,40%77,60%87,10%93,70%16,00%41,4%Claude 3,5 Sonnet Qwen QWen QWQ-32B-Preview32 76832,5 0,15 $ 0,20 $ Open65.20%–70,97%-50,00%QWQ-32B Preview Google Gemin Flash1,048 576 ––– własny 62,10%–76,40%–– 35,5%18,9%Gemini 2,0 Flash Openai O1-Mini128 000-3,00 $ 12,00 $ Promietary60,00%85,20%80,30%–92,40%70,00%18,1%O1-Mini Deepseek Deepseek-V3131 072671 0,27 $ 1,10 Otwarte 59,10%88,50%75,90%91,60%–39,2%18,9%Deepseek-v3 Google Gemini 1,5 Pro2 097,152–2,50 $ 10,00 $ Własne 59,10%85,90%75,80%74,90%84,10%19,3%27,1%Gemini 1,5 Pro Microsoft Phi-416 00014,7 0,07 $ 0,14 Otwarte 56,10%84,80%70,40%75,50%82,60%Phi-4 XAI 2128 000 $-2,00 $ 10,00 $ Własne 56,00%87,50%75,50%–88,40%22,7%GROK-2 Openai GPT-4O128 000–2,50 USD 10,00 $ 573,60%88,00%74,70%––-17,8%GPT-4O Gemini 1,5 048,576–, Własne 51,00%78,90%67,30%–74,30%Gemini 1,5 Flash XAI GROK-2 Mini128 000 ––– Własne 51,00%86,20%72,00%–85,70%GROK-2 Mini Meta Llama 3,1 405b128 000405 0,90 $ 0,90 $ 0,90 $ 0,90 $ 0,90 $ 0,90 $ 0,90 $ 0,90 $ Otwarte 50,70%87,30%73,30%84,80%89,00%23,0%LAMA 3,1 405B Instruktura Meta Llama 3,3 70B Instrukt128 00070 0,20 $ 0,20 Otwarte 50,50%86,00%68,90%–88,40%19,9%LAMA 75,00 $ Własne 50,40%86,80%68,50%83,10%84,90%23,5%Claude 3 Opus Qwen QWen2,5 32B Instruct131 07232,5–-Open49,50%83,30%69,00%–88,40%QWEN2,5 32B instruct QWen2,5 72b Instruktury 131 07272,7 0,35 $ 0,40 Otwarte 49,00%–71,10%–86,60%23,30%QWEN2,5 72B Instruct Openai GPT-4 Turbo128 000-10,00 $ 30,00 $ Zastąpienie 48,00%86,50%–86,00%87,10%GPT-4 Turbo Amazon Pro 300 000 $-$ 080 $ 3,20 USD Własne 46,90%85,90%–85,40%89,00%Nova Pro Meta Llama 3,2 90B Instruktury 128 00090 0,35 $ 0,40 $ Open46,70%86,00%––––-LAMA 3,2 90B Instruktury 131 07214,7–Open45,50%79,70%63,70%–83,50%QWEN2,5 14B Instruct Mistral Mistral Mały 332 00024 0,07 $ 0,14 Otwarte 45,30%–66%–84,80%Mistral Mały 3 QWEN 2 qwen2 72b 72b Instruktury 131 07272–-Open42,40%82,30%64,40%–86,00%QWEN2 72B Instruct Amazon Nova Lite 300 000–,06 $ 0,24 Własne 42,00%80,50%–80,20%85,40%NOVA Lite Meta Llama 3,1 70b Otwarte 41,70%83,60%66,40%79,60%80,50%LAMA 3,1 70B INSTRUKCJA ANTROPYCZNY CLAUDE 3,5 HAIKU200 000-0,10 $ 0,50 $ ZAPRODZENIE 41,60%–65,00%83,10%88,10%Claude 3,5 haikus ANMROPIC CLAUDE 3 SONNET 200 000 $ 3,00 $ 15,00 $ Własne 40,40%79,00%56,80%78,90%73,00%Claude 3 Sonnet Openai GPT-4O MINI128 000-0,15 $ 0,60 $ Zastępca 40,20%82,00%–79,70%87,20%10,7%GPT-4O Mini Amazon MICRO128 000-0,04 $ 0,14%0,04 $ 0,14% Zastrzelony 40,00%77,60%–79,30%81,10%Nova Micro Google Gemini 1,5 Flash 8B1 048 5768 0,07 $ 0,30 $ Zastąpienie 38,40%–58,70%–– Gemini 1,5 Flash 8B AI21 JABA 1,5 DUŻE 256 000398 $ 2,00 $ 8,00 $ 8,00 $ 8,00 $ Otwarte 36,90%81,20%53,50%–– Jamba 1,5 Duża Microsoft Phi-3,5-MOE-instruct128 00060–Open36,80%78,90%54,30%–70,70%phi-3,5-MOE-MOE-instruct qWen 2,5 7b Instruction131,0727,6 $ 0,30 $ 0,30 $ Otwarte 36,40%–56,30%–84,80%QWEN2,5 7B Instruktura XAI GROK-1.5128 000 ––– WŁAŚCIWOŚCI 35,90%81,30%51,00%–74,10%GROK-1,5 Openai GPT-432 768–30,00 $ 60,00 $ Własne 35,70%86,40%–80,90%67,00%25,1%GPT-4 CLAUDE CLAUDE 3 HAIKU200 000–,25 $ 1,25 $ Zastrzelone 33,30%75,20%–78,40%75,90%Claude 3 Haikue Meta Llama 3,2 11b instruct128 000.6 0,06 $ 0,06 Otwarte 32,80%73,00%–––-LAMA 3,2 11b Instruktura Meta lama 3,2 3b Instrukt128 0003,2 0,01 0,02 $ Open32,80%63,40%––– lama 3,2 3b instruktaż AI21 Jamba 1,5 mini256,14452 $ 0,20 $ Open32.30%69,70%42,50%-Jamba 1,5. Mini Openai GPT-3,5 Turbo16 385–,50 $ 1,50 $ Zastrzelony 30,80%69,80%–70,20%68,00%GPT-3,5 Turbo Meta Lama 3,1 8B Instructs131 0728 0,03 $ 0,03 Open30.40%69,40%48,30%59,50%72.60%LLAME 3,1 8B INGRUCT Microsoft PHI-3,5-MINI-Instruct128 0003,8 0,10 $ 0,10 Otwarte 30,40%69,00%47,40%–62,80%Phi-3,5-min-instruct Google Gemini 1,0 Pro 32,760–,50 $ 1,50 $ Proprietary27,90%71,80%–––– Gemini 1,0 Pro QWen QWen2 7B Instruct131 0727,6–Open255.30%70,50%44,10%–– QWEN2 7B instruktaż Mistral CodeStral-22B32,76822,2 0,20 $ 0,60 Otwarte ––––– 81,10%CodeStral-22b COMMED R+ 128 000104 $ 0,25 $ 1,00 $-75,70%–––– 81,10%kodestral-22b Command R+ 128 000104 $ Deepseek-v2,58,192236 0,14 $ 0,28 $ Otwarte-80,40%–– 89,00%Deepseek-v2,5 Google Gemma 2 27B8,19227,2–-OPEN-75,20%–– 51,80%GEMMA 2 27B Google Gemma 2 9b8,1929,2––-71,30%–– 40,2020%GEMMA 2 GEMMA 2 27b Gemma 2 9B8,1929 9B XAI GROK-1,5V128 000 ––– własne ––––– grok-1,5v Moonshotai Kimi-K1,5128 000 –––87,40%––– Kimi-K1,5 Nvidia Lama 3.1 Nemotron 70b instruktaż128 000 00000––open-80.20%–-kym 70b instrukt Mistral Ministral 8b Instrukt128 0008 0,10 $ 0,10 $ Otwarte-65,00%–– 34,80%ministral 8b Instruct Mistral Mistral Duży 2128 000123 2,00 $ 6,00 $ Open-82,00%–– 92,00%22,5%Mistral duży 2 mistral Mistral Nemo instruct128 00012 $ 0,15 $ 0,15 $ 0,15 $ 0,15 Otwarte-68,00%––– Mistral Nemo instruuje Mistral Mistral Small32 76822 0,20 $ 0,60 $ Otwarte –––––-Mistral Mały Microsoft Phi-3,5-vision-instruuct128 0004,2–-Open –––––– Phi-3,5-instruktura błąd Pixtral-12b128 00012.4 $ $ $ 0,15 $ 0,15 $ –––––– Otwarte-69,20%–– 72,00%pixtral-12b Mistral Pixtral Large 128 000124 2,00 $ 6,00 $ Otwarte ––––– pixtral Large QWen QWQ-72B-Preview32,76873,4–-open –––– qvq-72b-Preview QWen Qwen2,5-koder 32b 32b Instruct128 00032 0,09 $ 0,09 $ Otwarte-75,10%50,40%–92,70%QWen2,5-koder 32B Instruct QWen QWen2,5-koder 7b Instruct128 0007-Open-67,60%40,10%-88,40%QWEN2,5-Coder 7B instruct QWen QWEN QWEN2-VL-72B-instruct32,76873.4–-open –––– qWen2-VL-72B-instruct