Ollamaは、ローカルAIプラットフォームの大幅な更新を開始し、マルチモーダルモデルサポートを強化するために設計された独自のエンジンを導入しました。この開発は、llama.cppフレームワークへの以前の依存からの戦略的シフトを示しています。新しいエンジンは、会社の公式発表。 href=”https://github.com/ollama/ollama/releases/tag/v0.7.0″ターゲット=”_ blank”>新しいエンジンの主要な目標は、Ollamaが説明したように、多様なデータ型を組み合わせたマルチモーダルシステムの複雑さをよりよく処理することです。このイニシアチブは、MetaのLlama 4、GoogleのGemma 3、AlibabaのQwen 2.5 VL、Mistral Small 3.1など、現在の視覚モデルに、より安定した効率的な基盤を提供し、将来の能力への道を開くことを目指しています。 これらには、音声処理、AI駆動型の画像とビデオ生成、およびツール統合の拡張が含まれ、より堅牢なローカルAIエクスペリエンスを約束します。このリリースでは、WebPイメージサポートなどの機能的な更新も注目しています。
Ollamaの社内エンジンへの移動は、多様なマルチモーダルアーキテクチャを統合することの難しさに対処しています。同社はその理論的根拠を説明し、「主要な研究室によってより多くのマルチモーダルモデルがリリースされるにつれて、オラマが意図する方法をますます挑戦的にするようにこれらのモデルをサポートするタスクを説明しました。新しいアーキテクチャは、モデルのモジュール性を強調しています。 Ollamaによると、目的は、「各モデルの「爆発半径」をそれ自体に限定することです。信頼性を改善し、作成者と開発者が新しいモデルを統合しやすくすることです。このデザインは、 ollamaのgithubリポジトリで利用可能な例を備えています。拡張
オラマの新しいエンジンのコアの教義は、特にかなりの量のトークンに変換できる大きな画像を処理する場合、ローカル推論のより大きな精度の追求です。システムには、画像処理中に追加のメタデータが組み込まれています。また、誤った画像の分割が出力品質に悪影響を与える可能性があることを強調しているため、バッチと位置データをより正確に管理するように設計されています。エンジンは画像のキャッシュを導入し、画像が処理されると、時期尚早に破棄されることなく、その後のプロンプトが容易にアクセスできるようにします。 Ollamaはまた、KVCacheの最適化を展開しました。これは、キーとバリューの状態をキャッシュすることにより、変圧器モデルの推論をスピードアップする手法です。
さらに、同社はNvidia、AMD、Qualcomm、Intel、Microsoftなどのハードウェアジャイアントと積極的に協力しています。このパートナーシップは、正確なハードウェアメタデータ検出を介してメモリの推定を改良することを目的としており、新しいファームウェアリリースに対してオラマのテストを伴います。チャンクされた注意（メモリを保存するためのセグメントの処理シーケンス）および専門の2D回転式埋め込み（トランスの位置情報をエンコードする方法）。特に、llama.cppプロジェクト自体最近統合された包括的なビジョンサポート新しい `libmtmd`ライブラリを介して。 llama.cppドキュメンテーション Foundational Llama.cppプロジェクトは、ユーザーコミュニティ内での議論のポイントです。 a ハッカーニューススレッドオラマの発表を分析する人もいれば、基本的なものについて明確さを求めました。 Golang、およびllama.cppは、C ++で彼らのものをしました。彼は、彼らの仕事はそれに基づいていないllama.cppと並行して行われたと付け加え、「ジョージが実装で間違ったものをキャッチすることに本当に感謝している」と認めた。 ISWAはKVキャッシュサイズを1/6に減らします。」参照a github issue インターリーブスライドウィンドウの注意（ISWA）は、変圧器モデルの効率技術です。
将来の能力とより広範な意味
新しいエンジンが現在動作しているため、オラマはプラットフォームの機能をさらに拡大することに照準を合わせています。同社のロードマップには、コンテキストサイズが大幅に長くサポートし、モデル内のより洗練された推論プロセスを可能にし、ストリーミング応答を備えたツール呼び出しを導入するという野心が含まれています。これらの計画された拡張機能は、AIモデルをより広範なアプリケーションでより汎用性が高く強力にすることを目指しています。推論パイプラインに対するより大きな制御を主張することにより、オラマは、パーソナルコンピューティングデバイスで高度なAIモデルを利用したい開発者とエンドユーザーの両方に、より合理化された信頼できるプラットフォームを提供する予定です。
。画像。