I følge rykter er Meta i ferd med å utvikle Llama 3, en språkmodell som tar sikte på å konkurrere med OpenAIs GPT-4. Denne informasjonen ble angivelig overhørt av OpenAI-ingeniør Jason Wei, tidligere tilknyttet Google Brain, under et sosialt arrangement i Generative AI Group arrangert av Meta.
Weis tweet om saken antyder at Meta har beregningsressursene til å trene både Llama 3 og dens etterfølger, Llama 4. Spesielt hvis Llama 3 oppnår ytelse som kan sammenlignes med GPT-4, vil den fortsatt være åpen kildekode, som indikert av en uttalelse fra en Meta-representant: «Ja, vi vil. Beklager justering folk.”
Tidslinje og sammenligninger
Historisk sett var det fem måneder mellom lanseringen av Llama 1 i februar 2023 og Llama 2 i juli 2023. Mens Llama 2 har blitt optimert av åpen kildekode-fellesskapet og har nådd ytelsesnivåer som ligner på GPT-3.5 i visse applikasjoner, er det fortsatt en betydelig ytelsesforskjell sammenlignet med lukket kildekode-modeller som GPT-4 og Googles PaLM-2.
Metas strategi med åpen kildekode til modellene har høstet betydelig oppmerksomhet og ros fra utviklerfellesskapet. Imidlertid har selskapets forpliktelse til åpen kildekode blitt stilt spørsmål ved, spesielt med tanke på at beslutningen om åpen kildekode LLaMA først ble tatt etter at modellen ble lekket.
Meta hevder å være åpen om sin AI , som tilbyr en fellesskapslisens for Llama 2. Den mener at åpenhet fører til mer innovasjon og sikkerhet innen AI. Selskapet inviterer fellesskapet til å teste Code Llama, finne problemer og fikse dem.
Men en nylig undersøkelse sier at Meta og andre selskaper egentlig ikke er åpne om sine AI-modeller. Studien, utført av AI-eksperter fra Radboud University i Nijmegen, Nederland, viser at noen av de sterkeste AI LLM-ene er skjult for offentligheten, fordi koden som trente dem ikke deles.
Studien gir navn til OpenAI og Meta som de mest lukkede LLM-produsentene og sier at dette skader AI-fellesskapet. Den ber om mer ærlighet og åpenhet fra selskaper, slik at andre kan lære av arbeidet deres og gjøre det bedre.
OpenAIs dominans i LLM-markedet
Til tross for Metas innsats, er OpenAI fortsatt en dominerende kraft i markedet for store språkmodeller (LLM). Metas primære mål med Llama-modellene er å utfordre OpenAIs høyborg på dette domenet. OpenAIs administrerende direktør, Sam Altman, nevnte i juni 2023 at lanseringen av GPT-5 ikke er nært forestående. I mellomtiden planlegger Google å introdusere Gemini, neste generasjons multimodale LLM, enten senere i år eller tidlig neste år.
Flyttingen til kraftige AI-modeller med åpen kildekode har skapt bekymringer i teknologimiljøet. OpenAIs Sam Altman har tidligere spøkt med å ha en”kill switch”for OpenAIs systemer, og fremhevet den potensielle risikoen for at AI-systemer blir useriøse. Med muligheten for Meta åpen kildekode til en GPT-5-nivåmodell, oppstår det bekymringer om mangelen på en”kill switch”for slike modeller, noe som potensielt lar ondsinnede aktører bevæpne dem.
Til tross for fremveksten av åpen kildekode-modeller, er OpenAIs innflytelse fortsatt tydelig. De fleste modellene i åpen kildekode-økosystemet er benchmarked mot GPT-3 og GPT-4, spesielt på HumanEval-benchmark utviklet av OpenAI. Selv om Meta gir ut en åpen kildekode Llama 3-modell med egenskaper på nivå med GPT-4, vil den sannsynligvis fortsatt bli evaluert ved hjelp av HumanEval. Videre har OpenAI, i samarbeid med Anthropic, Google og Microsoft, lansert Frontier Model Forum for å sikre sikker og ansvarlig utvikling av AI-modeller.
