Googleは、現在Gemini APIに統合されたAI駆動のテキスト処理モデルであるGemini Embeddingを導入しました。
モデルは、豊富なテキストの埋め込みbench（mttrag）
google 、「ジェミニ埋め込みモデルファミリーは、埋め込みの埋め込みで最先端のテキストを埋め込んでいます。検索、クラスタリング、分類、および再ランキングタスク。”
MTEBベンチマーク関連性
AI搭載の検索とNLPテクノロジーがますます洗練されるようになり、MTEBのようなベンチマークは、批判的な評価ツールとして作成されました。テキストデータのランク、分類、および取得。 Gemini Embeddingは68.32の平均タスクスコアを達成し、Linq-embed MistralおよびGTE-QWEN2-7B-Instructを上回り、どちらも60年代に得点しました。
画像:Google
このベンチマークのより高いスコアは、AI搭載の検索エンジン、ドキュメント分析、チャットボットの最適化などの実際のアプリケーションのパフォーマンスの向上を示しています。このスペースにおけるGoogleの現在のリーダーシップは、GeminiがAI駆動型のテキスト処理の優先ソリューションを埋め込むための推進力を示しています。埋め込みモデルは、検索ランキングアルゴリズム、推奨エンジン、およびチャットボット応答の基礎として機能します。
高い検索と分類スコアを備えたモデルは、より関連性の高い検索結果を生成するAIの能力を高め、Google検索やその他のAI駆動型サービスに特に価値があります。電源検索結果。同社は現在、Google検索の新しいAIモードをテストしています。これは、従来のリンクをAIの生成された回答に置き換える純粋にAI駆動型の検索結果を提供しています。検索タスクでうまく機能するAIモデルは、翻訳の精度、カスタマーサービスの自動化、コンテンツのランキングを強化するのに役立つ複数の言語で動作する企業にとって重要です。分析、データベース内のセマンティック検索、および研究とビジネスインテリジェンスのための自動データ検索。
ランキングとクラスタリングタスクで競合他社を上回るモデルの能力は、AI主導のコンテンツ組織に依存するビジネスがクラウドベースのAIサービスへの統合から利益を得ることができることを示唆しています。
Googleは長年にわたってテキストの埋め込みモデルを改良してきましたが、テキスト総会巻き取り-002を含む以前の反復は、新たなオープンソースの代替品を支配的に維持するのに苦労しました。
オープンソースモデルと同様です。ツール。ただし、競合他社からの急速な進歩は、将来のMTEBベンチマークがさらに競争力がある可能性があることを示唆しています。
Googleは現在MTEBランキングでリードしていますが、AIテキストの組み込みスペースは競争力があります。 CohereやMistralなどの企業は急速に牽引力を獲得しており、一部の企業がクローズドソースソリューションよりも好む透明性と柔軟性を提供しています。ただし、オープンソースモデルは、専門的な実装を必要とする企業の適応性を向上させます。今後の問題は、Googleが競争が激化するにつれてAIテキスト処理におけるリーダーシップを維持できるかどうかです。 $/m output $/m ライセンス gpqa mmlu mmlu pro drop humaneval aime’24 O3128,000 –––独自の87.70％–––– O3人類のクロード3.7 SONNET200,000– $ 3.00 $ 15.00 PROPRIETARY84.80％86.10％––– 80.00％46.4％CLAUDE 3.7 Sonnet Xai GROK-3128,000 –––独自の84.60％–79.90％––– 93.30％GROK-3 XAI GROK-3 MINI128,000 ––– PROPRIETARY84.60％–78.90％––– 90.80％GROK-3 MINI OPENAI O3-MINI200,000– 1.10 $ 4.40独自の79.70％86.90％––– 86.50％22.8％O3-MINI Openai O1-Pro128,000 ––– Proprietary79.00％–––– 86.00％O1-Pro Openai GEMINI 2.0 FLASH THINKING1,000,000 ––– PROPRIETARY74.20％–––– 73.30％30.7％GEMINI 2.0 FLASH THINKING OPENAI O1-PREVIEW128,000– $ 60.00 PRORIETARY73.30％90.80％––– 44.60％41.7％O1-PreView Deepseeek deepseek-r1131,072671 $ 0.55 $ 2.19 open71.50％90.80％84.00％92.20％–79.80％30.9％deepseek-r1 openaigpt-4.5128,000 –––-proprietary71.4％90.0％– 88.0％36.7％34.5％gpt-4.5％ 3 Open65.20％–70.97％––– 50.00％QWQ-32B-PREVIEW Google Gemini 2.0 Flash1,048,576 – ––– 35.5％18.9％ジェミニ2.0フラッシュオープンProprietary60.00％85.20％80.30％–92.40％70.00％18.1％O1-Mini Deepseek Deepseek-V3131,072671 $ 0.27 $ 1.10％88.50％75.90％91.60％–39.2％ Pro2,097,152– $ 2.50 $ 10.00独自59.10％85.90％75.80％74.90％84.10％19.3％27.1％gemini 1.5 pro microsoft phi-416,00014.7 $ 0.07 $ 0.14 open56.10％84.80％70.40％75.50％ GROK-2128,000– $ 2.00 $ 10.00 PROPRIETARY56.00％87.50％75.50％–88.40％22.7％GROK-2 OPENAI GPT-4O128,000– $ 2.50 $ 10.00 PROPRIETARY53.60％88.00％74.70％- 17.8％ $ 0.60 Proprietary51.00％78.90％67.30％–74.30％Gemini 1.5 Flash Xai Grok-2 Mini128,000 ––– Proprietary51.00％86.20％72.00％–85.70％GROK-2 MINI Meta Llama 3.1 405B Open50.70％87.30％73.30％84.80％89.00％23.0％llama 3.1 405b instruce meta llama 3.3 70b instand128,00070 $ 0.20 $ 0.20 open50.50％86.00％68.90％–88.40％19.9％llama 3.3 70b indropic claud $ 75.00 Proprietary50.40％86.80％68.50％83.10％84.90％23.5％Claude 3 Opus Qwen2.5 32b instand131,07232.5– – Open49.50％83.30％69.00％–88.40％指導131,07272.7 $ 0.35 $ 0.40 OPEN49.00％–71.10％–86.60％23.30％QWEN2.5 72B openai GPT-4 Turbo128,000– $ 10.00 $ 30.00 PROPRIETARY48.00％86.50％–86.00％87.10％GPT-4 Turbo Propo $ 3.20 PROPRIETARY46.90％85.90％–85.40％89.00％Nova Pro Meta Llama 3.2 90b instand128,00090 $ 0.35 $ 0.40 OPEN46.70％86.00％指示131,07214.7 – – Open45.50％79.70％63.70％–83.50％QWEN2.5 14B指示ミストラルミストラルスモール332,00024 $ 0.07 $ 0.1455.30％–66.30％–84.80％ミストラルスモール3 QWEN QWEN2 72BBB指示131,07272–– – Open42.40％82.30％64.40％–86.00％QWEN2 72B指示Amazon Nova Lite300,000– $ 0.24 Proprietary42.00％80.50％–80.20％85.40％Nova lite liTe lita lma 3.1 70 $ 0.20128,000 $ 0.20 Open41.70％83.60％66.40％79.60％80.50％llama 3.1 70b指示人類学的クロード3.5 haiku200,000– $ 0.50 $ 0.50 Prodiotary41.60％–65.00％83.10％88.10％Claud Proprietary40.40％79.00％56.80％78.90％73.00％CLAUDE 3 SONNET OPENAI GPT-4O MINI128,000– $ 0.15 $ 0.60 PROPRIETARY40.20％82.00％-79.70％87.20％10.7％ Proprietary40.00％77.60％–79.30％81.10％Nova Micro Google Gemini 1.5 Flash 8B1,048,5768 $ 0.07 $ 0.30 PROPRIETARY38.40％–58.70％- GEMINI 1.5 FLASH 8B AI21 JAMBA Open36.90％81.20％53.50％– – Jamba 1.5大型Microsoft Phi-3.5-Moe-Instruct128,00060 – – Open36.80％78.90％54.30％–70.70％PHI-3.5-MOE-instruct QWEN QWEN2.5 Open36.40％–56.30％–84.80％QWEN2.5 7B XAI GROK-1.5128,000 ––– PROPRIETARY35.90％81.30％51.00％–74.10％GROK-1.5 OPENAI GPT-432,768– $ 30.00独自の35.70％86.40％–80.90％67.00％25.1％GPT-4人為的クロード3 haiku200,000– $ 0.25 $ 1.25独自33.30％75.20％–78.40％75.90％Claud Open32.80％73.00％––– llama 3.2 11b instruce meta llama 3.2 3b instruct128,0003.2 $ 0.01 $ 0.02 open32.80％63.40％––– llama 3.2 3b instand ai21 jamba 1.5 mim256,14452 $ 0.20 $ 0.40 open32.30％42.50％42.50％ Openai GPT-3.5 TURBO16,385– $ 0.50 $ 1.50 PROPRIETARY30.80％69.80％–70.20％68.00％GPT-3.5 Turbo Meta Llama 3.1 8B Instruct131,0728 $ 0.03 $ 0.03 OPEN30.40％69.40％48.30％59.50％72.60％ Phi-3.5-mini-Instruct128,0003.8 $ 0.10 $ 0.10 OPEN30.40％69.00％47.40％–62.80％PHI-3.5-mini-Instruct Google Gemini 1.0 Pro32,760– $ 0.50 $ 1.50 PROPRIETARY27.90％指示131,0727.6 – – Open25.30％70.50％44.10％- – QWEN2 7B指示ミストラルCODESTRAL-22B32,76822.2 $ 0.20 $ 0.60 OPEN ––– 81.10％CODESTRAL-22B COHERE COMMAND R+ 128,00044 deepseek-v2.58,192236 $ 0.14 $ 0.28 open – 80.40％- 89.00％deepseek-v2.5 Google Gemma 2 27b8,19227.2–– – 75.20％––– 51.80％gemma 2 27b Google Gemma 2 9b8,1929.29〜71.30 2 9b Xai Grok-1.5V128,000 ––––独自の–––––– Grok-1.5V Moonshotai Kimi-K1.5128,000 ––– – – – Kimi-K1.5 Nvidia llama 3.1 Nemotron 70b Instruction 70B指示ミストラルミニストラル8b instruct128,0008 $ 0.10 $ 0.10 $ 0.10 open – 65.00％- 34.80％ministral 8b instruction mistral mistral large 2128,000123 $ 2.00 $ 6.00％––– 92.00％22.5％ミストラルnemo inmo intral inmo intral Open–68.00%–––Mistral NeMo Instruct mistral Mistral Small32,76822$0.20 $0.60 Open–––––Mistral Small microsoft Phi-3.5-vision-instruct128,0004.2––Open–––––Phi-3.5-vision-instruct mistral Pixtral-12B128,00012.4$0.15 $0.15オープン– 69.20％- 72.00％PIXTRAL-12BミストラルPIXTRAL LARGE128,000124 $ 2.00 $ 6.00オープン–––––指示1128,00032 $ 0.09 $ 0.09オープン– 75.10％50.40％–92.70％QWEN2.5-CODER 32B指示QWEN QWEN2.5-CODER 7B INSTRECE128,0007–– – 67.60％40.10％–88.40％ QWEN2-VL-72B-Instruct32,76873.4 – – – –––– ––– QWEN2-VL-72B-Instruct
