Ollama ka nisur një azhurnim të rëndësishëm në platformën e tij lokale të AI, duke prezantuar një motor të pronarit të krijuar për të përmirësuar mbështetjen e modelit multimodal. Ky zhvillim sinjalizon një zhvendosje strategjike nga mbështetja e tij e mëparshme në kornizën LMAM.CPP. Motori i ri synon të sigurojë performancën, besueshmërinë dhe saktësinë e përmirësuar për përdoruesit që drejtojnë modele AI që interpretojnë si tekst ashtu edhe imazhe direkt në pajisjen e tyre, siç detajohet në kompaninë njoftimi zyrtar . href=”https://github.com/ollama/ollama/releases/tag/v0.7.0″target=”_ bosh”> Motori i ri Qëllimi kryesor, siç shpjegoi Ollama, është që të trajtojë më mirë kompleksitetin në rritje të sistemeve multimodale, të cilat kombinojnë llojet e ndryshme të të dhënave. Kjo iniciativë kërkon të sigurojë një themel më të qëndrueshëm dhe më efikas për modelet aktuale të vizionit-siç është Meta’s Llama 4, Google’s Gemma 3, Qwen 2.5 VL të Alibaba, dhe Mistral Small 3.1-dhe shtron rrugën për aftësitë e ardhshme. Këto përfshijnë përpunimin e të folurit, gjenerimin e imazhit dhe videove të drejtuara nga AI, dhe integrimin e mjeteve të zgjeruara, duke premtuar një përvojë më të fortë lokale të AI-së. Lëshimi gjithashtu vuri në dukje azhurnime funksionale si mbështetja e imazhit në internet. Kompania shpjegoi arsyetimin e saj, duke thënë,”Ndërsa më shumë modele multimodale lëshohen nga laboratorët kryesorë të kërkimit, detyra e mbështetjes së këtyre modeleve ashtu si synon Ollama u bë gjithnjë e më sfiduese.”Arkitektura e re thekson modularitetin e modelit; Sipas Ollama, qëllimi është të”kufizoni”rrezja e shpërthimit të secilit model në vetvete-duke përmirësuar besueshmërinë dhe duke e bërë më të lehtë për krijuesit dhe zhvilluesit të integrojnë modele të reja”. Ky dizajn, me shembuj të disponueshëm në Ollama’s Github Depository , lejon që secili model të jetë i vetë-kontrolluar me shtresën e vet të projeksionit, duke thjeshtuar integrimin e modelit për krijuesit e modelit. Përmirësime
Një parim thelbësor i motorit të ri të Ollamës është ndjekja e saktësisë më të madhe në konkluzionin lokal, veçanërisht kur përpunoni imazhe të mëdha që mund të përkthehen në një vëllim të konsiderueshëm të shenjave. Sistemi tani përfshin metadata shtesë gjatë përpunimit të figurës. Ajo është gjithashtu e inxhinierizuar për të menaxhuar më saktë të dhënat e grumbullimit dhe pozicionit, pasi Ollama thekson se ndarja e pasaktë e figurës mund të ndikojë negativisht në cilësinë e daljes.
Menaxhimi i kujtesës gjithashtu sheh përmirësime të konsiderueshme. Motori prezanton ruajtjen e imazhit, duke siguruar që pasi të përpunohet një imazh, ai mbetet lehtësisht i arritshëm për udhëzimet pasuese pa u hedhur para kohe. Ollama gjithashtu ka rrokullisur optimizimet e KVCache-një teknikë për të shpejtuar konkluzionin e modelit të transformatorit duke canuar çelësat dhe shtetet e vlerës. Ky partneritet synon të rafinojë vlerësimin e kujtesës përmes zbulimit të saktë të metadatave të harduerit dhe përfshin testimin e Ollamës kundër lëshimeve të reja të firmware. Vëmendje e copëtuar (sekuencat e përpunimit në segmente për të kursyer kujtesën) dhe ngulitjen e specializuar të rrotullimit 2D (një metodë për kodimin e informacionit të pozicionit në transformatorë). Veçanërisht, vetë projekti llama.cpp kohët e fundit të integruar mbështetje gjithëpërfshirëse të vizionit përmes bibliotekës së saj të re `Libmtmd`. llama.cpp Projekti Ollama dhe Fondacioni Llama.cpp ka qenë një pikë diskutimi brenda komunitetit të përdoruesve. Në një Hacker News Thread Disektimi Në Golang, dhe Llama.cpp bëri të tyre në C ++. Ai shtoi se puna e tyre ishte bërë paralelisht me llama.cpp, jo bazuar në të, dhe pranoi,”Unë jam me të vërtetë mirënjohës për Georgi duke kapur disa gjëra që ne kemi gabuar në zbatimin tonë.”A nuk është. Referimi i një çështje gitHub Për kontekstin e mëtejshëm. Vëmendja e dritares së rrëshqitjes së ndërlidhur (ISWA) është një teknikë e efikasitetit për modelet e transformatorit.
Aftësitë e ardhshme dhe implikimet më të gjera
Me motorin e tij të ri tani operacional, Ollama po vendos pamjet e saj në zgjerimin e mëtejshëm të aftësive të platformës së saj. Harta e rrugës së kompanisë përfshin ambicie për të mbështetur madhësi të konsiderueshme më të gjata të kontekstit, të mundësojë procese më të sofistikuara të arsyetimit brenda modeleve dhe të prezantojë duke thirrur mjete me përgjigje transmetuese. Këto përmirësime të planifikuara synojnë të bëjnë modelet e AI të drejtimit në vend më të gjithanshëm dhe të fuqishëm në një spektër më të gjerë aplikimesh. Duke pohuar një kontroll më të madh mbi tubacionin e konkluzionit, Ollama synon të ofrojë një platformë më të efektshme dhe të besueshme për të dy zhvilluesit dhe përdoruesit fundorë që dëshirojnë të përdorin modele të përparuara të AI në pajisjet e tyre personale të llogaritjes.