TL;DR
要点: Allen Institute for AI (AI2) は、ゼロからトレーニングするのではなく、既存の OLMo 3 モデルを改良して作成されたバイトレベル言語モデルの新しいファミリーである Bolmo をリリースしました。主な詳細: Bolmo 7B は、STEM タスクにおいて Meta の BLT 7B を 16.5% 上回っており、使用した量は一般的な事前トレーニングのコンピューティング予算の 1% 未満でした。重要な理由: この「バイト化」プロセスにより、組織は標準 LLM をトークナイザー不要のモデルに安価に変換でき、まれな単語や多言語テキストによるエラーを排除できます。背景: Bolmo は効率が高い一方で、生成速度ではサブワード モデルにわずかに劣ります (125 バイト/秒と 150 バイト/秒)。
新しいアーキテクチャをゼロからトレーニングする法外なコストを回避するために、Allen Institute for AI (AI2) は、トークンの代わりに生のバイトを処理する新しい言語モデル ファミリである Bolmo を導入しました。既存の OLMo 3 モデルを「バイト化」し、すでに投資されているバックボーンと機能を再利用することで、同研究所は元の事前トレーニング コンピューティング予算の 1% 未満を使用して最先端のキャラクター理解を達成しました。
Apache 2.0 ライセンスに基づいて月曜日にリリースされた Bolmo 7B は、STEM タスクにおいて Meta の競合する Byte Latent Transformer (BLT) を 16.5% 上回りました。この改修アプローチは、トークナイザーのないシステムをトレーニングするために以前に必要とされていた多額の投資をすることなく、「トークナイゼーション バイアス」（厳格な語彙リストによって引き起こされるエラー）を排除する実行可能な道を提供します。
OLMo 3 の発売で確立された「モデル フロー」戦略に基づいて、AI2 は完全なウェイト、コード、および Bolmo Mix データセットをリリースしました。このリリースでは、標準的なラージ言語モデル (LLM) をトレーニング後にバイトレベルのアーキテクチャに変換でき、その推論機能を維持しながらテキスト処理をきめ細かく制御できることが証明されました。
プロモーション
「バイト化」のショートカット: アーキテクチャと経済
AI2 の研究者は、基礎モデルのトレーニングに必要な多大な投資を放棄するのではなく、既存のアーキテクチャを改修する方法を開発しました。 「バイト化」は、深いトランスフォーマーのバックボーンを維持しながら入力層と出力層を置き換えることにより、標準のサブワード モデル、特に OLMo 3 アーキテクチャをバイトレベルのシステムに変換します。
この効率性の中心となるのは、必要なコンピューティングの大幅な削減です。競争力のあるバイトレベルのモデルをゼロからトレーニングするには、通常、何兆ものトークンが必要です。対照的に、Bolmo プロセスでは、最初の蒸留フェーズ (ステージ 1) で約 98 億のトークンが使用され、エンドツーエンドのトレーニング フェーズ (ステージ 2) で 393 億のトークンが使用されます。
コストの一部に相当し、合計は、このクラスのモデルの一般的な事前トレーニング予算の 1% 未満になります。
標準大規模言語モデル (LLM) は固定語彙に依存します。サブワード トークンは 30,000 ～ 300,000 個で、設計上の選択により硬直性が生じることがよくあります。 Bolmo は、これをわずか 256 UTF-8 バイトの固定語彙に置き換えます。この粒度レベルでテキストを処理することにより、モデルは、多言語のコンテキストやまれな単語でパフォーマンスを制限する「語彙のボトルネック」を回避します。
パフォーマンスを低下させることなくこの変換を機能させるために、アーキテクチャでは「非因果境界予測子」が導入されています。過去のみを振り返る従来の自己回帰モデルとは異なり、このコンポーネントは事前入力段階で将来のコンテキストの 1 バイトを利用します。
わずか 1 ステップだけ先を読むことで、モデルは効率的なサブワード トークナイザーの境界配置を模倣できます。これにより、バイト レベルの処理の柔軟性を維持しながら、圧縮率を効果的に一致させることができます。
技術レポートでは、このイノベーションの範囲を次のように定義しています。
「主にゼロからのトレーニングに焦点を当てたバイト レベルの LM に関する先行研究とは対照的に、我々は既存のサブワード レベルの LM をバイト化することで Bolmo をトレーニングします。」
「バイト化により、不十分な文字理解や効率性などのサブワード トークン化の制限を克服できます。」主要なサブワードレベルの LM のレベルで実行しながら、固定のサブワード語彙による制約を軽減します。」
安定性を確保するために、トレーニング プロセスは 2 つの異なるフェーズで実行されます。ステージ 1 では、グローバル モデル パラメータをフリーズし、新しいローカル エンコーダおよびデコーダ コンポーネントのみをトレーニングして、元のサブワード モデルの動作を模倣します。
新しいコンポーネントが調整されると、ステージ 2 でネットワーク全体のフリーズが解除され、グローバル モデルがより豊富なバイトレベルの情報に適応できるようになります。
Bolmo アーキテクチャ。トークン化と埋め込み T は、入力テキストをバイトごとに 1 つの表現に変換します。表現は、mLSTM ブロックで構成されるローカル エンコーダー E を使用してコンテキスト化されます。境界予測子 B は、将来のコンテキストの 1 バイトを使用してパッチ境界を配置する場所を決定します。次に、表現はプールされ、Transformer レイヤーで構成されるグローバル モデル M を通過して、デプールされます。最後に、別の mLSTM スタックで構成されるローカル デコーダ D が、デプールされたバイト表現をコンテキスト化し、LMHead が次のパッチ境界を配置する場所を決定するとともに、それらを次のバイト予測に変換します。 (出典: AI2)
AI2 の研究者は、効率と粒度のバランスに取り組み、この方法がモデル設計における長年のトレードオフを解決することを強調しています。
「バイト化により、主要なサブワード レベル LM のレベルで実行しながら、サブワード トークン化の制限を克服できるようになります。」
ベンチマークの現実: Bolmo 対 The Field
効率は良いものの、主なブレークスルー、結果として得られるパフォーマンス指標は、アーキテクチャがその重量を超えていることを示唆しています。 76 億 3,000 万のパラメータを備えた Bolmo 7B は、最初からトレーニングされた Meta の Byte Latent Transformer (BLT) 7B と比較して、STEM タスクで +16.5% の絶対的な改善を達成しました。
キャラクターの習熟度は、このアーキテクチャの最も重要な利点を表しています。 CUTE (キャラクター理解) ベンチマークでは、Bolmo 7B のスコアは 78.6 で、親モデルである OLMo 3 7B のスコア 56.9 を大幅に上回りました。
出典: AI2
このような精度は、正確なスペル、アナグラム解決、または 1 文字の精度が重要なコード生成を必要とするタスクにとって非常に重要です。
サブワードのトークン化は、NLP において長い間必要悪であり、計算速度と引き換えに粒度を犠牲にしてきました。ただし、この妥協により、トークン化バイアスとして知られる微妙なエラーが発生し、モデルは空白や単語の一部で終わるプロンプトに苦戦します。
AI2 は、これらのアーティファクトがどのようにモデルの信頼性を低下させるかを詳細に説明しています。
「サブワードのトークン化は非常に成功していますが、実際の代償が伴います。文字レベルの理解が不十分、空白や珍しい単語の周りでのぎこちない動作、語彙の硬直化です。」
これらの利点にもかかわらず、バイトへの移行により次のような問題が発生します。 RAW の生成速度にわずかなペナルティが発生します。 Bolmo は、毎秒約 125 バイトのデコード速度を達成し、サブワードのベースラインである毎秒約 150 バイトを下回っています。
生のバイトに必要な処理ステップの増加がこの減少の原因となっていますが、ギャップは以前のバイトレベルの試みよりも大幅に狭いです。
出典: AI2
開発者にとって、速度と精度の間のトレードオフは、特定のアプリケーションによって異なる場合があります。研究者らは、多くのユースケースでは、その差は無視できるものであると示唆しています。
「私たちの結果により、最終的にバイトレベルの LM が、幅広いユースケースにおいてサブワードレベルの LM と競合する実用的な選択肢になりました。」
このリリースには、異なるコンピューティング エンベロープに対応する 2 つの異なるモデル サイズが含まれています。 Bolmo 7B は OLMo 3 7B ベースから派生したものですが、より小さい Bolmo 1B (14 億 7,000 万パラメータ) は古い OLMo 2 1B アーキテクチャに基づいています。どちらのモデルも、「バイト化」プロセスがさまざまなモデルの世代やサイズにわたって反復可能であることを示しています。
エコシステムの統合: 「モデル フロー」 の利点
このリリースをその広範なオープンソース戦略に結び付けることで、AI2 は Bolmo が既存の「モデル フロー」パラダイムに適合することを保証しました。 OLMo 3 の発表中に強調されたこのコンセプトは、凍結されたモデルの重みを単にダンプすることよりも、開発パイプライン全体の透明性を優先します。
この統合の重要な機能は、「タスク演算」のサポートです。 Bolmo は親モデルのグローバル トランスフォーマー バックボーンを保持しているため、他のバージョンの OLMo 3 から機能を継承できます。
たとえば、トレーニング後の OLMo 3 モデルからの命令チューニングの重みは、高価な 2 回目のトレーニングを必要とせずに、Bolmo に直接マージできます。
このゼロコストの移行機能により、導入の障壁が低くなり、開発者は OLMo 3 エコシステムの堅牢な推論機能を活用しながら、
即時の研究と展開を容易にするために、AI2 はすべてのアーティファクトを寛容な Apache 2.0 ライセンスの下でリリースしました。これには、Hugging Face のモデルの重み、トレーニング コードを含むGitHub リポジトリ、および Bolmo Mix データセットは、レトロフィット プロセスに使用されます。
市場コンテキストと導入のハードル
バイトレベルのモデルは、歴史的に学術的な珍品とみなされ、法外な推論レイテンシとトレーニング コストに悩まされてきました。
「ソフトマックス ボトルネック」（広範な語彙から次のトークンを予測するための計算コスト）を取り除くことで、 Bolmo は、ラージ コンテキスト アプリケーションのスケーリング効率を向上させます。
Meta の Byte Latent Transformer などの競合他社は、トークナイザーを使用しないアーキテクチャの潜在的なパフォーマンスを検証しましたが、ゼロからのトレーニングが必要でした。
Bolmo の改良アプローチは、経済性を根本的に変えます。これにより、高品質のサブワード モデルを持つあらゆる組織が、わずかなコストでバイト レベルのシステムに変換できるようになります。
データ コラボレーションを保護するために専門家混合アーキテクチャを利用したプライバシー最優先の FlexOlmo モデルなど、AI2 のプライバシー重視の取り組みとは対照的に、Bolmo は、モデルが言語を処理する方法の基本的な仕組みをターゲットとしています。
技術的な成果にもかかわらず、導入は大きな慣性を抱えています。トレーニング ライブラリから推論エンジンに至るまで、NLP エコシステム全体がバイト ペア エンコーディング (BPE) トークナイザー用に最適化されています。
さらに、AI2 は広範な内部ベンチマークを提供していますが、独立したアナリストによる効率性の検証は依然として限られており、早期採用者が対処する必要がある「ソース多様性のギャップ」が生じています。
