業界の拡散モデルへの依存に挑戦し、Apple Research は、長いクリップの視覚的な劣化を排除するように設計された 70 億パラメータのビデオ ジェネレーターである STARFlow-V を発表しました。可逆生成モデルのクラスである正規化フロー (NF) を利用することにより、このシステムは、OpenAI の Sora を支えるテクノロジーに代わる明確な代替手段を提供します。
火曜日に一般公開されたこのモデルは、1 秒あたり 16 フレームで 480p ビデオを生成します。フレームをシリアルに生成する標準的な方法とは異なり、STARFlow-V は「ビデオ認識ヤコビ反復」を採用してプロセスを並列化し、推論レイテンシーを 15 分の 1 に削減すると主張しています。
より優れた一貫性を約束しながら、視覚的な忠実度は現在市場リーダーに後れを取っています。 VBench の品質指標では、STARFlow-V のスコアは 79.70 で、差は縮まりましたが、依然として Google の Veo3 などのクローズドソースのライバルには遅れをとっています。
アーキテクチャの変化: 正規化する理由フロー?
生成ビデオは、主に単一のアーキテクチャ パラダイムを中心に融合しています。 OpenAI の Sora や新しい Runway Runway Gen-4.5 などのシステムは、ランダム データから繰り返しノイズを除去することでコンテンツを作成する拡散モデルに依存しています。
これらの自己回帰モデルは、忠実度の高い短いクリップの作成には効果的ですが、長いシーケンスでは「エラーの蓄積」に悩まされることがよくあります。初期のフレームにある軽微な欠陥は時間の経過とともに悪化し、ビデオが進行するにつれて幻覚や物理的中断につながる可能性があります。
Apple の研究チームは、業界がこの方法に重点を置くのは時期尚早である可能性があると主張しています。 Apple の研究員である Jiatao Gu 氏は、代替アプローチの可能性を強調し、次のように述べています。「最先端のシステムは、ほぼもっぱら拡散ベースのモデルに依存しています。今回の研究では、この設計空間を再検討します。」
STARFlow-V は、可逆変換を介して複雑なデータ分布を単純な事前分布にマッピングする手法である正規化フロー (NF) を利用します。データ分布を近似する拡散とは異なり、NF は正確な尤度推定を提供します。
ビデオに対してこれを計算上実行可能にするために、チームは「グローバル-ローカル」アーキテクチャを導入しました。この設計は、長期的な因果関係の推論という重労働を、局所的な詳細のきめ細かな生成から分離することで、詳細を犠牲にすることなく一貫性を最適化します。
一貫性を維持するために使用される特定のメカニズムの定義については、技術文書で次のように述べられています。
「STARFlow-V は、これにより、標準的な自己回帰拡散モデル生成の一般的な落とし穴である、時間の経過に伴う誤差の蓄積が軽減されます。
「さらに、モデルに軽量のフロー スコア マッチングを提案します。」因果ノイズ除去機能を使用して、自己回帰的な方法でビデオ生成の一貫性を向上させます。」
因果関係の依存関係をグローバルな潜在空間に制限することにより、モデルはピクセル空間の自己回帰生成に典型的なカスケード エラーを防ぎます。
運用上の利点は安定性を超えて広がります。 NF は数学的に可逆であるため、同じモデルを変更せずにデータをエンコードおよびデコードできます。その結果、単一のバックボーンで Text-to-Video (T2V)、Image-to-Video (I2V)、Video-to-Video (V2V) のタスクを処理できます。
この統合ワークフローについて研究者らは次のように述べています。「モデルの自己回帰的な性質により、アーキテクチャを変更する必要はまったくなく、1 つのモデルですべてのタスクをシームレスに処理します。」
内部: 速度の解決ボトルネック
歴史的に、フローの正規化は拡張するのに苦労してきました。高次元のビデオ データをモデル化すると、計算コストが原因で法外な推論レイテンシが発生することがよくありました。
これを克服するために、Apple は、7,000 万のテキストとビデオのペアと 4 億のテキストと画像のペアで構成される広範なデータセットを使用して、70 億のパラメータ モデルをトレーニングしました。
STARFlow-V プロジェクト ページリリースのハード仕様の概要:
「STARFlow-V は、16fps で 480p ビデオを生成できる最終的な 7B パラメータ モデルを使用して、7,000 万個のテキストとビデオのペアと 4 億個のテキストと画像のペアでトレーニングされます。」
システムの柔軟性について、ドキュメントには次のように記載されています。
「モデルは圧縮された潜在空間で動作し、正規化フローの可逆的な性質を利用して複数のデータをネイティブにサポートします」
各フレームが前のフレームを待機する必要があるという自己回帰生成の直列的な性質に対処するために、チームは「ビデオ認識ヤコビ反復」を実装しました。
固定小数点反復問題として機能するこのアルゴリズムにより、システムは厳密に 1 つずつではなく、複数の潜在ブロックを並行して更新できます。
これによって従来の直列ボトルネックがどのように解消されるかを研究者らは説明しています。 write:
「生成 (フロー反転) は、非線形システムを解くものとして再構築され、1 つずつ生成するのではなく、複数の潜在を同時にブロック単位で並列更新できるようになります。」
最適化手法の詳細について、論文では次のように述べられています。
「隣接するフレームからの時間情報を使用するビデオ対応の初期化と、深いブロックと浅いブロック間のパイプライン実行と組み合わせることで、生成の品質を維持しながら大幅な高速化を実現します。」
チームが発表したパフォーマンス指標は、この方法が標準の自己回帰デコーディングと比較して推論レイテンシを約 15 倍短縮することを示しています。
視覚的な品質をさらに向上させるために、システムは「フロースコア マッチング」を採用しています。この手法は、メイン フロー モデルと並行して軽量のデノイザーをトレーニングし、フロー反転プロセス中に発生する可能性のある高周波ノイズやアーティファクトをスクラブします。
ベンチマークの現実: 有望だがまだ SOTA ではない
アーキテクチャの新しさにも関わらず、STARFlow-V は生の視覚的忠実度においてまだクローズド ソースの業界リーダーを上回るパフォーマンスを示していません。生成ビデオを評価するための標準指標である VBench 品質指数では、STARFlow-V のスコアは 79.70 でした。
比較すると、Google の Veo 3 のスコアは 85.06 で、Runway Gen-3 のスコアは 82.32 です。独立したアナリストは、Apple の管理された環境外でこれらのパフォーマンスの主張や推論の高速化をまだ検証していません。
しかし、重要性は、絶対的なリードではなく、結果の近さにあります。 Apple 研究チームは次のように主張しました。「STARFlow-V は、正規化フローが視覚的な品質においてビデオ拡散モデルと一致することを実証する、初の正規化フローベースの因果ビデオ ジェネレーターです。」
現在の技術的な制限は、出力解像度に明らかです。毎秒 16 フレームで 480p の解像度に制限されており、出力は商用ツールで見られる 1080p または 4K 標準よりも大幅に低いです。
Apple は、このリリースを即時の製品置き換えとしてではなく、一貫した物理学と長期的なコヒーレンスを必要とするシステム、つまり NF が最終的に普及を超える可能性がある領域である「ワールド モデル」の概念実証として位置付けています。
チームは、シミュレーションと具現化 AI における将来のアプリケーションを見据えています。 「これらの結果は、私たちの知る限り、NF が高品質の自己回帰ビデオ生成が可能であり、ワールド モデルを構築するための有望な研究方向として確立していることを示す最初の証拠を示しています。」
重みを独自に保持している多くの競合他社とは異なり、Apple はコードとモデルの重みを Hugging Face リポジトリ で公開しています。これにより、より広範な研究コミュニティがアーキテクチャを実験し、推論パイプラインをさらに最適化できる可能性があります。
