NVIDIA 推出了 NV-Embed Hugging Face 是一種先進的嵌入模型，在大規模文字嵌入基準(MTEB) 中取得了最高的位置。該模型基於大語言模型（LLM）架構，由於其獨特的設計和訓練方法，在各種任務上展示了顯著的改進。
NV-Embed 在檢索、重新排名和分類等多項任務中表現出色，在 MTEB 中獲得了最高的總體排名。值得注意的效能指標包括:
AmazonCounterfactualClassification (en): 準確率 95.119%、平均精確度 (AP) 79.215 和 F1 分數 92.456。 AmazonPolarityClassification:準確率 97.143%、AP 95.286 和 F1 分數 97.143。 AmazonReviewsClassification (en):準確率 55.466%，F1 得分 52.702。 ArguAna: MAP@1 為 44.879，MAP@10 為 60.146，MAP@100 為 60.533，MRR@1 為 0.000，Precision@1 為 44.879，Recall@1 為 444.899。 ArxivClustering:V 測量值為 53.764 (P2P) 和 49.589 (S2S)。 詢問 UbuntuDup 問題:MAP 為 67.499，MRR 為 80.778。
大規模文本嵌入基準 (MTEB) 的發展是為了解決傳統文本嵌入評估的局限性，傳統文本嵌入評估通常側重於一組狹窄的數據集和任務。 MTEB 提供了一個全面的基準測試框架，其中包括跨58 個資料集和112 種語言的8 個嵌入任務，使其成為最廣泛的基準測試之一。嵌入的廣泛應用，從聚類到搜尋系統和文字挖掘的主題表示。-Benchmark-MTEB-via-Hugging-Face.jpg”>
架構和培訓創新
NV-Embed 模型的成功很大程度上歸功於其架構創新和先進的訓練程序。雖然NVIDIA 尚未透露有關模型配置、輸出維度和參數計數的具體細節，但基於LLM 的架構在其有效性方面發揮著至關重要的作用。效能顯示使用了複雜的利用大規模資料集的神經網路架構和進階訓練方法。 NV-Embed 評估研究表明，沒有一種文字嵌入方法在所有任務中都能始終優於其他方法，這表明文本嵌入缺乏通用的解決方案。該基準還強調了由於計算要求廣泛，在某些應用程式中使用生成語言模型或交叉編碼器是不可行的。關注諸如語義文本相似性(STS) 和分類，但尚未徹底測試是否可轉移到搜尋或聚類等其他任務。效能，可能會掩蓋真正的效能改進。 >
多樣化的模型表現
評估也發現，不同的模型在不同的任務中表現出色。例如，ST5 模型在分類任務中表現良好，而 MPNet 與ST5-XXL 用於聚類任務。 a> 和GTR-XXL 在配對分類任務中領先，MPNet 和MiniLM 模型在重排序任務中表現強勁。 SGPT-5.8B-msmarco 在檢索任務中表現出色，LaBSE 在雙文本探勘中佔據主導地位，但不同語言的表現各不相同。 >
NV-Embed可依據知識共享署名-非商業性4.0 國際許可證 (cc-by-nc-4.0)。這項授權選項反映了 NVIDIA 致力於讓研究界能夠存取其成果，同時限製商業用途。該模型在 Hugging Face 上的可用性進一步增強了研究人員和開發人員的可訪問性。