Alibabaの研究者は、Zerosearchを導入しました。これは、言語モデルの大規模なモデル（LLM）が情報検索スキルをどのように獲得するかを再定義するための設定された先駆的なフレームワークです。この新しいシステムは、AIをトレーニングして検索エンジンの相互作用をシミュレートし、ライブコマーシャルAPI呼び出しの多額の価格タグなしで「Google自体」を効果的に学習します。開発、a 科学論文で詳述されています。研究者によると、LLMは88％驚異的です。これは、研究論文が「頻繁にロールアウト、潜在的に数十万の検索要求を含む頻繁なロールアウトと記述されているものの必要性を回避することによって達成されます。 src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-official-alibaba-scaled.jpg”>
その影響は広範囲にわたり、高度なトレーニングをより高度なトレーニングを行うことにより、洗練されたAIの開発を潜在的に民主化する可能性があります。 Alibaba Cloudは、「LLMSがシミュレーションを通じて検索スキルを開発できるシステムを作成し、リソース集約型の実世界の検索の必要性を排除するシステムを作成しました。」彼らは、「これにより、あらゆる規模の組織が高度なAIをよりアクセスしやすくする。」
Alibabaは、Zerosearchコード、データセット、および事前に訓練されたモデルを Zerosearchプロジェクトページ、より広い採用とさらなる研究を促進します。軽量の監視付き微調整（SFT）プロセスから始まります。この最初のステップは、LLMを専門の「検索モジュール」に変換します。このモジュールは、関連するドキュメントと、重要なことに、クエリに応じて「ノイズの多い」ドキュメントまたは無関係なドキュメントの両方を生成するように設計されています。彼らはさらに、「実際の検索エンジンとシミュレーションLLMの主要な違いは、返されたコンテンツのテキストスタイルにある」とさらに詳しく説明します。Zerosearchは、「カリキュラムベースのロールアウト戦略によって導かれる強化学習フェーズを採用しています。この情報品質のこの制御された劣化により、ますます挑戦的な検索シナリオをシミュレートするために、時間の経過とともに徐々に劣化しました。その後、より複雑で曖昧な情報の風景をナビゲートすることを学びます。システムの学習は、F1スコアに基づく報酬メカニズムによって導かれ、シミュレートされた検索結果から生成された回答の精度に焦点を当てています。 7つのメジャーの包括的な実験質問回答データセットはその機能を実証しました。 VentureBeatの報道によると、a Serpapi を使用して
上級AIおよび将来の見通しを民主化する
Zerosearchの外部検索エンジンAPIに直接依存せずに強力な検索機能をトレーニングする能力は、大きな変化をもたらします。検索充電LLMSの開発における2つの主要なハードルに直接対処します。「制御されていないドキュメントの品質」と、プロジェクトの抽象に概説されているライブ検索エンジンを使用する従来のRLトレーニング方法に関連する「法外に高いAPIコスト」です。 GitHub経由のオープンソースリリースは、コミュニティの関与と革新の幅広いための鍵です。 Zerosearch Framework自体には、シミュレーションLLMのGPUリソースが必要です。これは、研究者が論文で認めた制限です。「シミュレートされた検索LLMを展開するにはGPUサーバーへのアクセスが必要です。
商用API使用よりも費用対効果が高くなりますが、これは追加のインフラストラクチャコストを導入します。それに加えて、Zerosearchはコンテンツの品質を動的に制御するユニークな能力も示しています。
このイノベーションは、LLMの効率とアクセシビリティを強化するためのより広範な業界の推進の中で到着します。たとえば、DFLOAT11技術はLLMウェイトのロスレス圧縮を提供しますが、Sakana AIのNAMMは長いコンテキストのメモリの最適化に焦点を当てています。 IBMのBambaハイブリッドAIモデルは、変圧器のアーキテクチャ速度制限をターゲットにした別の例です。 Zerosearchは、検索対応LLMの構築のトレーニングコストとデータ制御の側面に特に取り組むことにより、ニッチを彫り、AI開発のこの側面に従来の検索エンジンを不可欠にする可能性があります。