A
olla jelentős frissítést indított a helyi AI platformon, bevezetve egy szabadalmaztatott motort, amelynek célja a multimodális modell támogatásának javítása. Ez a fejlesztés stratégiai változást jelez a llama.cpp keretrendszerre való előzetes támaszkodásától. Az új motor célja, hogy javítsa a jobb teljesítményt, megbízhatóságot és pontosságot az AI modelleket futtató felhasználók számára, amelyek mind a szöveget, mind a képeket közvetlenül a saját hardverükön értelmezik, amint azt a cég hivatalos bejelentés . href=”https://github.com/ollama/ollama/releases/tag/v0.7.0″Target=”_ üres”> Új motor Az elsődleges célja, ahogyan Ollama kifejtette, az, hogy jobban kezelje a multimodális rendszerek növekvő bonyolultságát, amelyek kombinálják a változatos adattípusokat. Ez a kezdeményezés arra törekszik, hogy stabilabb és hatékonyabb alapot biztosítson a jelenlegi látásmodellekhez-például a Meta’s Llama 4, a Google Gemma 3, az Alibaba QWen 2,5 VL és a Mistral Small 3.1-, és előkészíti az utat a jövőbeli képességekhez. Ide tartoznak a beszédfeldolgozás, az AI-vezérelt kép és a videó generáció, valamint a kibővített eszköz integrációja, amely egy robusztusabb helyi AI-élményt ígér. A kiadás olyan funkcionális frissítéseket is feltüntetett, mint a WebP kép támogatása. A társaság elmagyarázta indoklását, kijelentve: „Mivel a multimodális modelleket a nagy kutatólaboratóriumok kiadják, ezeknek a modelleknek a feladata, hogy az Olla az, ahogyan az OLLA szándéka egyre nagyobb kihívást jelent.”Az új architektúra hangsúlyozza a modell modularitását; Ollama szerint a cél az, hogy „az egyes modellek„ robbantási sugárát “magukra korlátozzák-javítva a megbízhatóságot, és megkönnyítve az alkotók és a fejlesztők számára az új modellek integrálását”. Ez a kialakítás, a ollama Github Repository című példákon. Fejlesztések
Az Ollama új motorjának alaptétele a helyi következtetések nagyobb pontosságának elérése, különösen akkor, ha olyan nagy képeket dolgoznak fel, amelyek jelentős mennyiségű tokenek lesznek. A rendszer most további metaadatokat tartalmaz a képfeldolgozás során. Azt is megtervezték, hogy pontosabban kezeljék a tételeket és a pozicionális adatokat, mivel Ollama kiemeli, hogy a helytelen képmegosztás negatívan befolyásolhatja a kimenet minőségét. A motor bemutatja a kép gyorsítótárazását, biztosítva, hogy a kép feldolgozása után a későbbi utasításokhoz könnyen hozzáférhető maradjon, anélkül, hogy idő előtt eldobnák. Az Olla a KVCACHE optimalizálását is bevezette-ez a technika a transzformátor modell következtetéseinek felgyorsítására a kulcs-és értékállapotok gyorsítótárazással. Ennek a partnerségnek a célja, hogy finomítsa a memória becslését pontos hardver metaadatok észlelésével, és magában foglalja az Oláma új firmware-kiadásokkal szembeni tesztelését. Szekvenciák szegmensekben a memória mentésére) és a speciális 2D rotációs beágyazás (a transzformátorok helyzeti információk kódolására szolgáló módszer). Nevezetesen, a llama.cpp projekt maga nemrégiben integrált átfogó látás-támogatás Az új `libmtmd` könyvtárán keresztül. A láma dokumentáció A saját multimodális támogatását és a P> P> P> P> P> P> P> ception-t a kapcsolata között leírja. Az alapvető láma.cpp projekt vita pontja volt a felhasználói közösségen belül. A hacker-hír szál Az OLLAMA bejelentését az OLLAMA BIZTOSÍTÁSÁNAK KERESKEZTETTETTETT, AMELYI FELHASZNÁLISÍTÁSI PROVÁTOK MINDENKI ALKALMAZÁSA. Golang és a llama.cpp a C ++-ban nem volt. Hozzátette, hogy munkájukat a llama.cpp-vel párhuzamosan végezték el, nem az alapjául, és elismerte: „Nagyon nagyra értékelem, hogy Georgi néhány dolgot elkapott, mi tévedtek a megvalósításunk során.”
Egy másik felhasználó a „Nolist_policy” című beszélgetésben, a „Nolist_policy” című filmben, miközben azt állítja: „Egy másik OLLAMA támogatást támogató, a Sliding Windows figyelmét. Az ISWA 1/6-ra csökkenti a KV gyorsítótár méretét.”A github kérdés hivatkozás hivatkozása. Az átlapolt csúszó ablak figyelem (ISWA) hatékonysági technikája a transzformátor modellek számára.
A jövőbeli képességek és a szélesebb körű következmények
Az új motorjával, most működőképes, az Ollama a látnivalókat a platform képességeinek további bővítésére állítja. A vállalat ütemtervének olyan ambícióit tartalmazza, hogy támogassák a szignifikánsan hosszabb kontextusméretet, lehetővé teszik a modelleken belüli kifinomultabb érvelési folyamatokat, és bevezetik az eszközhívást streaming válaszokkal. Ezeknek a tervezett fejlesztéseknek a célja, hogy a helyileg futó AI modelleket sokoldalúbbá és erőteljesebbé tegyék az alkalmazások szélesebb spektrumán. A következtetési csővezeték feletti nagyobb ellenőrzés megerősítésével Ollama ésszerűbb és megbízhatóbb platformot kíván kínálni mind a fejlesztők, mind a végfelhasználók számára, akik a fejlett AI modelleket kívánják felhasználni személyi számítástechnikai eszközeiken.
