ollama已對其本地AI平台進行了重大更新,引入了專有引擎,旨在增強多模型模型支持。這一發展標誌著從先前依賴Llama.CPP框架的戰略轉變。新的引擎旨在為運行AI模型的用戶提供提高的性能,可靠性和準確性,這些模型直接在自己的硬件上解釋文本和圖像,如公司的新引擎正如Ollama所解釋的那樣,它的主要目標是更好地處理結合多樣化數據類型的多模態系統的日益複雜性。該計劃旨在為當前的願景模型(例如Meta的Llama 4,Google的Gemma 3,Alibaba的Qwen 2.5 VL和Mismtral Small 3.1)提供更穩定,更有效的基礎,並為未來的能力鋪平了道路。 其中包括語音處理,AI驅動的圖像和視頻生成以及擴展的工具集成,並有望獲得更強大的本地AI體驗。該版本還指出了功能更新,例如WebP映像支持。

ollama的移至內部發動機解決了整合多種多模式體系結構的困難。該公司解釋說:“隨著主要研究實驗室發布更多的多模式模型,支持這些模型的任務是Ollama打算變得越來越具有挑戰性的方式。”

在現有的GGML-ORG/Lllama.cpp項目的範圍內出現了這種困難。新的體系結構強調模型模塊化。據奧爾馬(Ollama)稱,其目的是“將每個模型的“爆炸半徑”限制在自身中,以提高可靠性,並使創建者和開發人員更容易整合新模型”。此設計,示例在 ollama的github存儲庫中,每個模型允許使用自己的圖層進行自我構圖,並構建模型的構建

增強功能

奧拉馬(Ollama)新引擎的核心原則是追求局部推斷的更準確性,尤其是當處理可以轉化為大量令牌的大圖像時。該系統現在在圖像處理過程中結合了其他元數據。它還可以更精確地管理批處理和位置數據,因為Ollama突出顯示了不正確的圖像分裂會對輸出質量產生負面影響。

內存管理也可以看到重大改進。引擎引入了圖像緩存,確保一旦處理圖像,它仍然可以輕鬆訪問後續提示而不會過早丟棄。 Ollama還推出了KVCACHE優化-通過緩存鍵和價值狀態來加快變形金剛推斷的技術。

此外,該公司正在積極與Nvidia,AMD,Qualcomm,Qualcomm,Intel,Intel和Microsoft等硬件巨頭合作。該合作夥伴關係旨在通過準確的硬件元數據檢測來完善記憶估算,並涉及對新固件發行的測試。

已經針對諸如Meta的Llama 4 Scout之類的型號進行了特定的適應性,例如109億個參與者(109億)參與者(MOE)型號(MOE)的不同部分,該型號的特定特徵是由所提供的專用級別的雜物-兼容的雜物-注意力集(以節省記憶以節省記憶力)和專業的2D旋轉嵌入(一種編碼變壓器中的位置信息的方法)。

上下文中的環境不斷發展的局部AI生態系統

ollama宣布的宣佈在本地啟用了一個開放式啟動時期,該宣布是在動態化的啟用時期。值得注意的是,llama.cpp項目本身最近整合的全面視覺支持通過其新的libmtmd`庫。 lllama.cppppporation 描述了其自身的速度 hacker新聞線程剖析Ollama的宣布,一些參與者尋求清晰的信息,從根本上進行了什麼。在Golang,Llama.cpp在C ++中進行了“您的意思”。他補充說,他們的工作與Llama.cpp並非基於此工作,並承認:“我非常感謝Georgi抓住了一些我們在實施中出錯的事情。 ”

討論中的另一個用戶在討論中,’nolist_policy”nolist_policy’,’nolist_policy”’notive of to pecppp notepppeppepp noteppeppepp ins on coodpep for peck in les cood s in les coo n e laclave s locla。 ISWA將KV緩存大小降低到1/6。”引用a github問題在其他上下文中。 交錯的滑動窗戶注意力(ISWA)是變壓器模型的效率技術。 

未來能力和更廣泛的影響

隨著其新引擎的運行,Ollama正在將目光投向進一步擴展其平台的功能。該公司的路線圖包括支持明顯更長的上下文大小的野心,使模型中更複雜的推理過程以及通過流響應引入工具調用。這些計劃的增強功能旨在使本地運行的AI模型在更廣泛的應用程序中更加廣泛,更強大。

Ollama開發自定義引擎的這種戰略性樞紐,強調了AI行業的更廣泛趨勢,以完全利用多態AI的潛在潛在的潛在工具所需的專業化工具。 By asserting greater control over the inference pipeline, Ollama intends to offer a more streamlined and dependable platform for both developers and end-users who wish to utilize advanced AI models on their personal computing devices.

However, while users benefit from enhanced multimodal tools, such advancements could also present new avenues for misuse, such as in the creation of forged documents or manipulated digital imagery.

Categories: IT Info