メタプラットフォームでさえ、AIレースの驚異的なコストの影響を受けません。同社は、Microsoft、Amazonなどを含む競合他社に近づく昨年の一部を費やし、旗艦のLlama Large Languageモデルを訓練するための財政的支援を求めています。情報。甘味料として、メタは潜在的な金融の支援者にラマの将来の機能開発で発言権を与えることを議論したようです。
情報源は、メタの提案に対する最初の反応がぬるぬるしていたことを示唆しており、正式な資金調達の取引が打たれたかどうかは不明です。それでも、この試みは、主要なAIシステムの構築に伴う激しい財政的負担を明らかにし、メタの深いポケットを持つ企業にさえ圧力をかけ、生成AIの高い利害関係を示す。 4 – Metaの最新モデル
Metaの資金調達パートナーの検索は、最近のLlama 4発表を新しい観点からキャストします。このリリースは、非常に大きな1000万のトークンコンテキストウィンドウでシングルGPU使用を目的としたLlama 4スカウト（109b合計パラメーター、17bアクティブ）を導入しました。これは、一度に約750万語を処理できます。どちらも、必要なサブネットワーク（「専門家」）のみがタスクごとにアクティブ化される専門のサブネットワーク（「エキスパート」）を使用した技術であり、すべてのパラメーターが常に使用される密度の高いモデルと比較して操作中のより大きな効率を目指しています。これらを支える
これらは、蒸留に内部で使用される2兆億個のパラメーターモデルである（小規模なモデルを教える）、最大32,000 GPUにわたってトレーニングを必要とする2兆億個のパラメーターモデルである、これらを支える
です。メタは、計算をスピードアップする低精度の数字形式であるFP8精度などの技術と、長いシーケンスを効果的に処理するために、インターリーブの回転位置埋め込み（IROPE）などの新しいアーキテクチャコンポーネントを採用しています。共有投資の潜在的な必要性を直接説明し、膨大な計算力とエンジニアリングの努力を要求します。 MOEは潜在的な推論効率を提供しますが、前払いトレーニングコストは依然として重要な要因です。同社は、その目標がLLMSの政治的偏見に対抗していることを公に述べており、「すべての主要なLLMがバイアスの問題を抱えていることはよく知られています。具体的には、議論のある政治的および社会的トピックに関しては、歴史的に左に左になっています。 Llama GuardやThe Goat Red-Teamingシステムなどの安全ツールの展開-脆弱性を見つけるための敵対的なテストの方法。これらの微調整と安全層は、さらに開発オーバーヘッドを追加します。コメディアンのサラ・シルバーマンを含む訴訟を含む積極的な訴訟は、Bittorrentのファイル共有を介してLibgenのような図書館から供給された海賊版の本の大規模なデータセットでラマモデルを訓練したと主張しています。伝えられるところによれば、裁判所の文書は内部不安を明らかにしたと伝えられており、あるエンジニアは「[メタ所有の]コーポレートラップトップからの急流は正しくないと感じています。」
2025年3月下旬に表面化された申し立ては、メタがこのデータのほぼ30％を再提出し、このデータの潜在的な潜在的な負担の潜在的な負担の潜在的な負担の潜在的な負担の増加を繰り返します。このような論争は、AI開発費用の全体的に目立たない場合は、実質的な、あまり目に見えない場合は、競争の激しい分野での戦略的プレイを表す可能性があります
Metaの資金調達は、ラマの中心にするための明確な戦略と一致しています。モデルは、発売直後にWhatsApp、Instagram、およびFacebook全体でMeta AI機能に統合されました。また、Amazon Sagemaker JumpstartやMicrosoftの Databricks -特にカスタム商用ライセンスの下では、典型的なオープンソースではありません。この制御されたリリース戦略は、メタがラマの展開に関与し続け、オープン性と商業的利益のバランスをとります。
は、メタのAIに対するメタの焦点をさらに強調しています。これにより、iPhoneユーザーは、FacebookまたはInstagram内でAppleのAIライティングツールやGenmojiを使用することを防ぎ、代わりにメタのラマベースの代替案に向けてプッシュします。また、メタのアプローチは、Appleのよりプライバシーに焦点を当てた、多くの場合デバイスオンデバイスモデルとは異なります。これは、ラマ4の政治的傾向とその同時に物議を醸すロールバックの米国での同時に物議を醸すロールバックに関するMetaの公開討論によって強調されています。 href=”https://www.llama.com/events/llamacon/signup/”ターゲット=”_ blank”> 4月29日に予定されているllamaconイベントは、大規模な巨大なモデルまたは次のLlama 4-v Visionモデルの最新情報を提供する可能性があります。
