ドイツのIT企業TNGテクノロジーコンサルティングは、5月からDeepSeek R1-0528バリアントの2倍の速さであると伝えられる新しいオープンソースAIモデルをリリースしました。今週、 huggingフェイスプラットフォーム技術。
この方法は、元のDeepSeek R1およびV3モデルを含む3つの異なる親モデルのコンポーネントをマージします。その結果、60％少ないトークンで回答を生成しながら高レベルの推論機能を保持するモデルがあり、開発者のための推論コストと応答時間を大幅に削減します。
AI開発者コミュニティは熱意を持って回答しました。 Xで、顔を抱きしめて、シニアリーダーのVaibhav Srivastavは、「Damn！Deepseek R1T2 – R1-0528＆20％より速くR1よりも速く」
Assembly-of-Experts:モデル作成への新しいアプローチ
TNGの「組み立て」（AOE）メソッドは、従来のモデル作成からの大幅な逸脱を表しています。微調整または再訓練の代わりに、AOEは、複数の事前に訓練された親からの重量テンソルを選択的にマージすることにより、新しいモデルを構築します。これは、a 最近の研究論文専門知識の最も責任を負うモデルの一部は、より速い親からより効率的な共有レイヤーを保持しますが。この「トライマインド」キメラは、R1-0528の推論、R1の構造化された思考、およびV3-0324の簡潔さを組み合わせています。 MOEは、特定のタスクに対してモデルの「専門家」の一部をアクティブにするランタイムアーキテクチャですが、AOEは組み合わせた専門知識を単一のより効率的な最終モデルに焼く構造技術です。 TNGが発行したベンチマークによると、R1T2キメラは、AIIMEやGPQAなどの最新テストの最も強力な親であるR1-0528の推論パフォーマンスの90％から92％を達成します。ただし、モデルの重要な利点は簡潔さです。 R1-0528で必要なトークンの約40％を使用して正解を生成します。これは、出力の長さが60％減少します。
これは、応答時間の速度と計算コストの削減に直接変換され、実際の用語で2倍速くなります。この効率は、V3親の特徴でした。 3月のリリース後、開発者Awni Hannunは改善された v3 の2025年3月バリアント>’後に最も強力なモデルであるhref=”https://twitter.com/awnihannun/status/1904177084609827054″ターゲット=”_ blank”>ラップトップで実行します。 R1T2キメラは、この効率をより強力な推論コアにうまく接ぎました。中国企業の勢いは停滞しており、予想されるR2モデルは現在無期限に遅れています。これは、内部パフォーマンスの不満と、重要なAIチップに対する米国の輸出管理の影響の両方によるものです。ドイツでは、ベルリンのデータ保護局がAppleとGoogleが中国への違法なデータ転送リスクのために「違法なコンテンツ」にラベル付けされたDeepseekアプリを削除することを要求しました。委員会委員長のジョン・ムーレナールは、「このレポートはそれを明確にしている:Deepseekは単なるAIアプリではありません。中国共産党の武器庫の武器です…」と、このアプリはスパイ活動とデータ収穫のためのツールであると主張しています。これらの外部圧力は、DeepSeekの作業から派生した技術の複雑な背景を作成します。そのMITライセンスは、ライセンス料なしに商用アプリケーションでのプライベートホスティング、カスタマイズ、および展開に最大限の柔軟性を提供します。推論コストの大幅な削減により、ハイスループットまたはリアルタイム環境に最適です。
コスト削減は、速度と予算の両方が重要なリアルタイムカスタマーサポートチャットボット、大規模なドキュメントの要約、または内部知識ベースのクエリなどのアプリケーションに特に関連しています。モデルは、パフォーマンスとコストの曲線に望ましい象限に配置されています。
しかし、TNGは現在の制限に注目しています。このモデルは、関数呼び出しまたはツールの使用を必要とするユースケースにはまだ推奨されていません。つまり、外部APIと確実に相互作用することはできません。これにより、複雑で自動化されたワークフローでの使用が制限されますが、将来の更新はこのギャップに対処する可能性があります。
さらに、同社は欧州ユーザーに領土外の範囲を持つEU AI法のコンプライアンスを評価するようアドバイスしています。これらの警告にもかかわらず、TNGによるR1T2キメラのリリースは、モジュラーAI開発における顕著なステップを示し、訓練されただけでなく、モデルが組み立てられる未来を垣間見ることができます。