Google a introduit l’intégration des Gémeaux, un modèle de traitement de texte propulsé par l’IA désormais intégré à l’API Gemini.
Le modèle a revendiqué la première place de la Massive Text Benchmark (mteb) Cohere et Qwen dans diverses tâches de traitement du langage naturel (NLP).
Gemini L’intégration et d’autres modèles d’incorporation convertissent le texte en représentations numériques (vecteurs) pour permettre la recherche sémantique, les systèmes de recommandation et la récupération de documents. Ils permettent des classements de recherche plus intelligents (comme Google Search), la récupération du support client alimenté par AI, le regroupement de documents et les moteurs de recommandation.
Selon google , «Le modèle de gèle GEMINI a atteint la famille de la famille (MTEB), Outperforming Results sur le modèle de textes incorporant un banc de banc (MTEB), Outperforming All Dispose sur le texte incorporant le banc de textes (MteB), Outperforming All Disony Dispose Text Incorcedding BenchmarkMarke Les tâches de récupération, de regroupement, de classification et de réinstallation des tâches.”
MTEB Benchmark Pertinence
Alors que la recherche alimentée par AI et les technologies NLP deviennent de plus en plus sophistiquées, les benchmarks comme MTEB servent de das d’évaluation. Classer, catégoriser et récupérer les données textuelles.
le MTEB LABEADBOEL , un classement de l’industrie-standard pour les modèles d’embegage AI, évalue les performances en rétrogradation, la classification, le groupe et le rasage des TAD. L’intégration de Gemini a obtenu un score de tâche moyen de 68,32, surperformant Linq-Embed-Mistral et Gte-Qwen2-7B-Istruct, tous deux notés dans les basses années 60.
Disponible.
Image: Google
Les scores plus élevés sur cette référence indiquent des performances améliorées dans les applications du monde réel telles que les moteurs de recherche alimentés par l’IA, l’analyse des documents et l’optimisation du chatbot.
Les entreprises qui cherchent à intégrer l’IA dans leurs plateformes s’appuient souvent sur ces scores pour déterminer les modèles qui répondent au mieux leurs besoins. Le leadership actuel de Google dans cet espace signale sa poussée pour faire de Gemini intégrer une solution préférée pour le traitement de texte basé sur l’IA.
Comment les geminis peuvent remédier à la recherche AI et des applications commerciales
Le succès de Google dans les classements MTEB signale les implications plus larges pour les solutions de recherche et les ententes en entrée AI. Les modèles d’intégration servent de base pour les algorithmes de classement de recherche, les moteurs de recommandation et les réponses du chatbot.
Un modèle avec des scores de récupération et de classification élevés améliore la capacité de l’IA à générer des résultats de recherche plus pertinents, ce qui rend son impact particulièrement précieux pour la recherche Google et d’autres services axés sur l’IA.
Les résultats de la recherche de Google seront les principaux résultats de la recherche. La société teste actuellement un nouveau mode IA pour Google Search, qui fournit des résultats de recherche purement dirigés par l’IA qui remplacent les liens traditionnels par des réponses générées par l’IA.
Au-delà de la recherche, Gemini Embeding’s Multantial Positions les positionne comme un outil pour améliorer les applications transversales. Les modèles d’IA qui fonctionnent bien dans les tâches de récupération sont cruciaux pour les entreprises qui opèrent en plusieurs langues, car ils aident à améliorer la précision de la traduction, l’automatisation du service client et le classement des contenus.
Cela fait de l’intégration des Gemini un actif potentiellement utile pour Analytics, recherche sémantique dans les bases de données et récupération automatisée de données pour la recherche et l’intelligence commerciale.
La capacité du modèle à surpasser les concurrents dans le classement et le regroupement des tâches suggère que les entreprises s’appuyant sur l’organisation de contenu axée sur l’IA pourraient bénéficier de son intégration dans les services AI basés sur le cloud.
Google affine ses modèles d’intégration de texte depuis des années, mais les itérations précédentes, y compris le texte-multilingue-incorporé-002, ont eu du mal à maintenir la domination sur les alternatives open-source émergentes.
Contrairement aux modèles open source, qui offrent une plus grande personnalisation et de la transarence, la solution propriement de Google est déjà intégrée dans le GEMINI API, ce qui en fait une option SEARSUR pour ses enterris outils. Cependant, les progrès rapides des concurrents suggèrent que les futurs repères MTEB peuvent devenir encore plus compétitifs.
Bien que Google mène actuellement dans les classements MTEB, l’espace d’intégration du texte d’IA reste compétitif, en particulier avec des alternatives open source contestant des modèles de propriété. Des entreprises comme Cohere et Mistral ont rapidement gagné du terrain, offrant une transparence et une flexibilité que certaines entreprises préfèrent aux solutions de source fermée.
Le principal avantage des modèles propriétaires comme l’intégration des geminies réside dans leur intégration profonde avec l’écosystème IA plus large de Google. Cependant, les modèles open source offrent une plus grande adaptabilité aux entreprises qui nécessitent des implémentations spécialisées. La question à l’avenir est de savoir si Google peut maintenir son leadership dans le traitement de texte de l’IA alors que la concurrence s’intensifie.
Benchmarks de modèle AI-LLM Leadboard
Dernière mise à jour: le 7 mars, 2025 Paramètres d’organisation $/M sortie $/m licence gpqa mmlu mmlu pro déposer humananeval aime’24 impalbench O3128 000 ––– propriétaire 87,70% –––– O3 Claude anthropique 3,7 Sonnet 200 000– 3,00 $ 15,00 $ Claude 84,80% 86,10% ––– 80,00% 46,4% Claude 3,7 SONNET XAI GROK-3128000 –––-PROPRÉTAIRE84.60% –79.90% –93.30% –3 xai Grok-3 Mini128,000–––Proprietary84.60%–78.90%––90.80%Grok-3 Mini openai o3-mini200,000–$1.10 $4.40 Proprietary79.70%86.90%–––86.50%22.8%o3-mini openai O1-PRO128 000 ––– propriétaire 79,00% –––– 86,00% O1-Pro OpenAI O1200,000– 15,00 $ 60,00 $ Proprietary78,00% 91,80% –– 88,10% 83,30% 40,1% O1 Google Gémini 2.0 Flash Flash 83.30% 40,1% O1 Google Gémini 2.0 Flash Flash 83.30% 40,1% O1 Google Gémini 2.0 Flash Flash 83.30% 40,1% O1 Google Gémini 2.0 Flash Flash 83.30% 40,1% O1 Google Gémini 2.0 Flash Flashe Penser 1 000 000 ––– propriétaire 74,20% –––– 73,30% 30,7% GEMINI 2.0 Flash Thinking Openai O1-Preview128,000– 15,00 $ 60,00 $ Proprietary73,30% 90,80% ––– 44,60% 41,7% O1-Preview Deepseek-R1131,072671 0,55 2,19 Open71,50% 90,80% 84,00% 92.20% –79,80% 30,9% Deepseek-R1 Openaigpt-4,5128 000 ––– ProPrietary71,4% 90,0% –– 88,0% 36,7% 34,5% GPT-4,5 Claude anthropique 3.5 SONNET200,000– 3,00 $ 15.00 $ Propriétaire67,20% 90,40% 77,60% 87,10% 93,70% 16,00% 41,4% Claude 3.5 Sonnet Qwen QWQ-32B-PREVIEW3276832.5 0,15 $ 0,20 $ Open65.20% –70,97% –0,00% QWQ-32B-PREVIEW GORGO Flash1 048 576 ––– propriétaire62.10% –76,40% –– 35,5% 18,9% GEMINI 2.0 Flash Openai O1-MINI128,000– 3,00 $ 12,00 $ Proprietary60,00% 85.20% 80,30% –92.40% 70,00% 18.1% O1-MINI Deepseek-V3131,072671 0,27 $ 1,10 $ Open59.10% 88,50% 75,90% 91,60% –39,2% 18,9% Propriétaire 59,10% 85,90% 75,80% 74,90% 84,10% 19,3% 27,1% Gémini 1.5 Pro Microsoft PHI-416 00014.7 0,07 $ 0,14 $ Open56,10% 84,80% 70.40% 75,50% 82,60% PHI-4 XAI GROK-2128000– Propriétaire 56,00% 87,50% 75,50% –88,40% 22,7% GROK-2 Openai GPT-4O128 000– 2,50 $ 10,00 $ GPT-4O Google GEMMINI 1,5 Flash1,048 576– 0,8% Propriété 51,00% 78,90% 67,30% –74,30% Gémini 1.5 Flash xai Grok-2 Mini128,000 ––– PROPRIETARY51,00% 86,20% 72,00% –85,70% GROK-2 MINI META LLAMA 3.1 405B Instruct128,000405 0,90 $ 0,90 $ Open550,70% 87,30% 73,30% 84,80% 89,00% 23,0% LLAMA 3.1 405B INSTRUCT META LLAMA 3.3 70B INSTRUCT128 00070 0,20 $ 0,20 $ Open50,50% 86,00% 68,90% –88,40% 19,9% LLAMA 3.3 70B Instruct 75,00 $ Proprietary50,40% 86,80% 68,50% 83.10% 84,90% 23,5% Claude 3 Opus Qwen Qwen2.5 32B Instruct131 07232.5 –– open49.50% 83.30% 69,00% –88.40% Instruct131 07272.7 0,35 $ 0,40 $ Open49,00% –71,10% –86,60% 23,30% QWEN2.5 72B INSTRUCT Openai GPT-4 Turbo128 000– 10,00 $ 30,00 Proprietary48,00% 86,50% –86,00% 87.10% 3,20 $ propriétaire 46,90% 85,90% –85,40% 89,00% Nova Pro Meta Llama 3.2 90B Instruct128,00090 0,35 $ 0,40 $ Open46,70% 86,00% ––– LLAMA 3,2 90B Instruct Instruct131 07214.7 –– open45.50% 79,70% 63,70% –83,50% QWEN2.5 14B instruct Mistral Mistral Small 332,00024 0,07 $ 0,14 $ Open45,30% –66,30% –84,80% Mistral Small 3 Qwen Qwen2 72B Instruct131 07272––– open42.40% 82.30% 64,40% –86,00% Qwen2 72B Instruct Amazon Nova Lite300,000-0,06 $ 0,24 $ Proprietary42.00% 80,50% –80,20% 85,40% NOVA LITE META LLAMAM Open41,70% 83,60% 66,40% 79,60% 80,50% LLAMA 3.1 70B Propriétaire 40,40% 79,00% 56,80% 78,90% 73,00% Claude 3 Sonnet Openai GPT-4O MINI128,000-0,15 $ 0,60 $ Proprietary40,20% 82,00% –79.70% 87,20% 10,7% 0,14o Min Amazon Nova Micro128.000– 0,04 0,14 Propriété 40,00% 77,60% –79,30% 81,10% Nova Micro Google Gemini 1.5 Flash 8B1 048 5768 0,07 $ 0,30 $ Proprietary38,40% –58,70% –– GEMINI 1,5 Flash 8B AI21 JAMBA 1.5 Grand256,000398 Open36,90% 81,20% 53,50% –– JAMBA 1.5 Grand Microsoft PHI-3,5-MOE-INSTRUCT128 00060–––Open36,80% 78,90% 54,30% –70,70% PHI-3.5-MOE-INSTRUCT QWEN QWEN2 Open36,40% –56,30% –84,80% QWEN2.5 7B Instruct xai Grok-1,5128 000 ––– PROPRIÉTAIRE35,90% 81,30% 51,00% –74,10% GROK-1,5 OpenAI GPT-432 768– 30,00 $ 60,00 $ Proprietary35.70% 86,40% –80,90% 67,00% 25,1% GPT-4 Anthropic Claude 3 Haiku200,000– 0,25 $ 1,25 $ Proprietary33.30% 75.20% –78,40% 75,90% Claude 3 Haiku Meta LLAMA 3.2 11B INTRUCTE Open32,80% 73,00% ––– LLAMA 3.2 11B INSTRUCT META LLAMA 3.2 3B INSTRUCT128 0003.2 0,01 $ 0,02 $ Open32,80% 63,40% ––– LAMA 3,2 3B Instruct Mini Openai GPT-3,5 Turbo16,385– 0,50 $ 1,50 $ Propriétaire30,80% 69,80% –70,20% 68,00% GPT-3,5 Turbo Meta Llama 3.1 8B Instruct131 0728 0,03 $ 0,03 $ Microsoft PHI-3,5-MINI-INSTRUCT128 0003.8 0,10 $ 0,10 $ Open30,40% 69,00% 47,40% –62,80% PHI-3,5 MINI-INSTRUCT Google Gemini 1.0 Pro32,760– 0,50 $ 1,50 $ Proprietary27,90% 71,80% ––– GEMINI 1.0 Pro Qwen Qwen Instruct131,0727,6–– open25.30% 70,50% 44.10% –– Qwen2 7b instruct mistral codestral-22b32,76822.2 0,20 $ 0,60 $ ouvert-––– 81,10% de cohestral-22B Cohere Command R + 128 000104 0,25 $ Deepseek-V2.58,192236 0,14 $ 0,28 $ Open-80,40% –– 89,00% Deepseek-V2.5 Google Gemma 2 27B8,19227.2––– open-75,20% –– 51,80% Gemma 2 27B Google Gemma 2 9b8,1929.2––– open–71.30% –20% GEMMA 29. 9B XAI GROK-1.5V128 000 ––– propriétaire ––––– Grok-1.5V Moonshotai Kimi-k1.5128 000 ––– propriétaire-87,40% ––– KIMI-K1.5 NVIDIA LLAMA 3.1 NEMOTRON 70B Instruct128,00070–– opene 70B Instruct Mistral Ministral 8B Instruct128 0008 0,10 $ 0,10 $ Open-65,00% –– 34,80% Ministral 8B Instruct Mistral Mintral 2128 000123 2,00 $ 6,00 $ Open-84,00% –– 92,00% 22,5% Open-68,00% ––– Mistral NEMO instruct Mistral Mistral Small32,76822 0,20 $ 0,60 $ Open ––––– Mistral Small Microsoft PHI-3,5-Vision-Instruct128 0004.2–– ––––– PHI-3,5-Vision-Instruct Mistral Pixtral-12b128.00012.4 0,15 $ Open-69,20% –– 72,00% PIXTRAL-12B Mistral Pixtral Large 128 000124 2,00 $ 6,00 $ Open ––––– Pixtral Large Qwen QVQ-72B-PREVIEW32,76873.4–– Open –––– QVQ-72B-PREVIEW QWEN QWEN2.5 CODER 32B INSTRUCTURS128,000.09 092.09 092.09 092.09 092.09 09,0. 0,09 $ Open-75,10% 50,40% –92,70% QWEN2.5 CODER 32B INSTRUCT QWEN QWEN2.5 CODER 7B INSTRUCT128 0007–– OPEN-67,60% 40,10% –88,40% QWEN2.5 CODER 7B INSTRUCT QWEN QWEN2-VL-72B-INSTRUCT32,76873.4 –– Open ––––– QWEN2-VL-72B-INSTURT