Ollama on julkaissut merkittävän päivityksen paikalliselle AI-alustalleen, ottaen käyttöön omistusmoottorin, joka on suunniteltu parantamaan multimodaalista mallitukea. Tämä kehitys merkitsee strategista siirtymistä aikaisemmasta luottamuksestaan LLAMA.CPP-kehykseen. Uuden moottorin tavoitteena on toimittaa parannettua suorituskykyä, luotettavuutta ja tarkkuutta käyttäjille, jotka käyttävät AI-malleja, jotka tulkitsevat sekä tekstiä että kuvia suoraan omalla laitteistollaan, kuten yrityksen virallinen ilmoitus . href=”https://github.com/ollama/ollama/releases/tag/v0.7.0″Target=”_ tyhjä”> Uusi moottori : n ensisijainen tavoite, kuten Ollama selitti, on paremmin käsitellä multimodaalisten järjestelmien lisääntyvää monimutkaisuutta, jotka yhdistävät tietotyypit. Tämän aloitteen tarkoituksena on tarjota vakaampi ja tehokkaampi perusta nykyisille visiomalleille-kuten Meta’s Llaama 4, Google’s Gemma 3, Alibaban Qwen 2.5 VL ja Mistral Small 3.1-ja valmistaa tietä tuleville ominaisuuksille. Näitä ovat puheenkäsittely, AI-ohjattu kuvan ja videon luominen sekä laajennettu työkalujen integrointi, lupaavat vankemman paikallisen AI-kokemuksen. Julkaisu totesi myös toiminnalliset päivitykset, kuten WebP-kuvatuki.
Ollama muutto sisäiseen moottoriin liittyy vaikeuksia monipuolisten multimodaalisten arkkitehtuurien integroinnin vaikeuksiin. Yhtiö selitti perusteensa ja totesi: “Koska tärkeimmät tutkimuslaboratoriot julkaisevat multimodaalisia malleja, näiden mallien tukeminen tapa, jolla Ollama aikoo muuttui yhä haastavammaksi.”Uusi arkkitehtuuri korostaa mallimodulaarisuutta; Ollaman mukaan tavoitteena on”rajoittaa kunkin mallin”räjähdyssäde”itselleen-parantaa luotettavuutta ja helpottaa tekijöiden ja kehittäjien integroida uusia malleja”. Tämä malli, jossa on esimerkkejä Ollaman github-arkisto , sallii jokaisen mallin itsenäisen oman projisointikerroksensa yksinkertaistavan integroinnin ja suorituksen. Parannukset
Ollaman uuden moottorin ydinosa on paikallisten päätelmien paremman tarkkuuden saavuttaminen, etenkin kun käsittelet suuria kuvia, jotka voivat kääntää huomattavan määrän rahakkeita. Järjestelmä sisältää nyt ylimääräisiä metatietoja kuvankäsittelyn aikana. Se on myös suunniteltu hallitsemaan erä-ja sijaintitietoa tarkemmin, koska Ollama korostaa, että virheellinen kuvan halkaisu voi vaikuttaa negatiivisesti lähtölaadulle.
muistinhallinta näkee myös merkittäviä parannuksia. Moottori esittelee kuvan välimuistia varmistaen, että kuvan käsittelyn jälkeen se pysyy helposti saatavana seuraaviin kehotuksiin ilman, että sitä hylätään ennenaikaisesti. Ollama on myös julkaissut KVCACHE-optimoinnit-tekniikka muuntajan mallin päätelmien nopeuttamiseksi välimuistissa avain-ja arvotilat. Tämän kumppanuuden tavoitteena on tarkentaa muistin arviointia tarkan laitteiston metatietojen havaitsemisen avulla ja siihen sisältyy Ollaman testaaminen uusien laiteohjelmiston julkaisujen suhteen.
Erityisiä mukautuksia on tehty malleille, kuten Meta’s Lama 4 Scout-109 miljardin parametrien sekoituskokoelman (Moverick)-malli, jossa on erityinen osake, (Käsittelyjaksot segmenteissä muistin tallentamiseksi) ja erikoistuneiden 2D-kiertojärjestelmien upotus (menetelmä muuntajien sijaintitietojen koodaamiseksi). Erityisesti Llaama.cpp-projekti itse äskettäin integroitu kattava visiotuki uuden `libmtmd`-kirjaston kautta. Llaama.cpp-dokumentaatio kuvaa omaa multimodaalista tukensa nopeasti kehittyvänä sub-project. Fountaow Lama.cpp-projekti on ollut keskustelupiste käyttäjäyhteisössä. Hacker-uutiset Leikkaamalla Ollaman ilmoituksen, jotkut osallistujat hakivat selkeyttä siitä, mikä oli pohjimmiltaan uusi. Golang ja Llaama.cpp tekivät heidän C ++: n. Hän lisäsi, että heidän työnsä tehtiin rinnakkain Llaama.cppin kanssa, ei sen perusteella, ja tunnustin: “Olen todella kiitollinen siitä, että Georgi tarttui muutamiin asioihin, jotka saimme väärin toteutuksessamme.”
toinen keskustelu keskustelussa,”Nolist_policy”, korosti erityistä teknistä hyötyä, väittäen,”yhdelle ollama-tuet, jotka ovat välittäneet. ISWA pienentää KV-välimuistin koon 1/6.”viittaus Github-ongelma Lisäympäristöön. Loskitettu liukuikkunan huomio (ISWA) on muuntajamallien tehokkuustekniikka.
Tulevat ominaisuudet ja laajemmat vaikutukset
Uudella moottorillaan nyt ollama asettaa nähtävyyksiään laajentaakseen edelleen alustansa ominaisuuksia. Yrityksen etenemissuunnitelma sisältää kunnianhimot, jotka tukevat huomattavasti pidempiä kontekstikokoja, mahdollistaa malleissa hienostuneemmat päättelyprosessit ja ottaa käyttöön työkalupuhelut suoratoisto vastauksilla. Näiden suunniteltujen parannusten tavoitteena on tehdä paikallisesti AI-malleista monipuolisempia ja tehokkaampia sovelluspaikkojen laajemmassa spektrissä. Väittämällä päätelmäputken hallinnan parempaa hallintaa Ollama aikoo tarjota virtaviivaisemman ja luotettavamman alustan sekä kehittäjille että loppukäyttäjille, jotka haluavat hyödyntää edistyneitä AI-malleja henkilökohtaisissa laskentalaitteissaan.