Eerder deze week haalde Google de verpakking van zijn nieuwe AI-model. Het platform staat bekend als Gemini en is beschikbaar in drie niveaus en is bedoeld om Google te positioneren ten opzichte van OpenAI en Microsoft in de steeds competitiever wordende AI-markt. Hoewel Google heeft gepocht over de geavanceerde architectuur van Gemini en de gelijke of superieure prestaties ervan ten opzichte van andere opmerkelijke AI-modellen, waaronder OpenAI’s GPT-4, schetsen gebruikerservaringen die online worden gedeeld een minder gunstig beeld.
Inconsistenties in eenvoudige zoekopdrachten Wenkbrauwen optrekken
Een cruciaal onderdeel dat door Google wordt aangeprezen, is de feitelijke nauwkeurigheid van Gemini Pro. Gebruikers gaan echter naar sociale media om discrepanties in de reacties van de AI te delen. Een opmerkelijke fout is onder meer het verstrekken van onjuiste informatie over de Oscarwinnaars van 2023. Ondanks claims van verbeterd redeneren en begrip ten opzichte van zijn voorgangers, kende Gemini Pro de prijs voor beste acteur toe aan Brendan Gleeson in plaats van aan de daadwerkelijke ontvanger, Brendan Fraser. Op soortgelijke wijze deden zich misstappen voor bij vragen over andere winnaars van de Oscar-categorie.
Bovendien lijken de vertaalmogelijkheden een zwak punt te zijn voor Gemini Pro, waarbij gebruikers melden dat vragen om eenvoudige vertalingen met onjuiste antwoorden worden beantwoord. Een verzoek om een woord van zes letters in het Frans kreeg bijvoorbeeld een antwoord dat een woord van vijf of zeven letters bevatte, wat de bezorgdheid over de meertalige prestaties van Gemini Pro benadrukte.
Ik ben extreem teleurgesteld over Gemini Pro op Bard. Het geeft nog steeds zeer, zeer slechte resultaten op vragen die met RAG niet meer moeilijk zouden moeten zijn.
Een simpele vraag als deze met een eenvoudig antwoord als dit, en het was nog steeds FOUT. pic.twitter.com/5GowXtscRU
— Vitor de Lucca 🏳️🌈/threads.net/@vitor_dlucca (@ vitor_dlucca) 7 december 2023
Codeermogelijkheden in twijfel getrokken in een competitief AI-landschap
Google benadrukte de codeervaardigheid van Gemini, maar gebruikers die met het nieuwe AI-model experimenteerden, hebben problemen gemeld. Deze omvatten het onvermogen van Gemini Pro om elementaire codeertaken correct uit te voeren, zoals het schrijven van de kruising van twee polygonen in Python – een probleem dat niet alleen Gemini lijkt te treffen, maar ook andere AI-modellen.
Gemini geprobeerd. op basis van Bard, en het kan nog steeds geen snijpunten van twee polygonen schrijven. Het is een van die zeldzame relatief eenvoudig uit te drukken functies die nog nooit in Python zijn geïmplementeerd, er is geen stack-overflow-post en al deze modellen falen daarin. pic.twitter.com/RKjmkEw2Qr
— Filip Piekniewski🌻 🐘:@[email protected] (@filippie509) 6 december 2023
Er worden vergelijkingen gemaakt met GPT-3.5, de voorganger van GPT-4, benadrukt de uitdagingen van Gemini Pro op gebieden als het ontwikkelen van code voor analoge klokken en games als Tic Tac Toe, waar het achterblijft wat betreft uitvoerkwaliteit en nauwkeurigheid van de resultaten.
Bovendien is de benadering van Gemini Pro bij gevoelige zoekopdrachten het aanmoedigen van gebruikers om hun eigen zoekopdrachten uit te voeren, wat in schril contrast staat met de gedetailleerde samenvattingen van ChatGPT. Deze voorzichtige houding kan gebruikers frustreren die op zoek zijn naar snelle, diepgaande informatie.
Ondanks deze gerapporteerde tekortkomingen is Gemini Pro niet de laatste of meest capabele versie van Gemini, aangezien Google van plan is volgend jaar Gemini Ultra uit te brengen. waarmee een aantal van de huidige zorgen kunnen worden weggenomen.
Ter info: Google Gemini is complete prullenbak. pic.twitter.com/EfNzTa5qas
— Benjamin Netter (@benjaminnetter) 6 december 2023
Nu de vooruitgang op het gebied van generatieve AI-modellen snel vordert, wil Google zich inzetten voor het verbeteren van Gemini’s prestaties blijven van cruciaal belang om aan de verwachtingen van de gebruiker te voldoen en concurrerend te blijven. De technologiegigant heeft nog niet publiekelijk gereageerd op de kritiek, en het is onduidelijk hoe snel ze kunnen of zullen reageren op de feedback van de eerste gebruikers van Gemini Pro.
Heeft Google Gemini te vroeg gelanceerd?
strong>
We zijn hier eerder geweest met Google AI-producten. In februari werd het bedrijf overrompeld door de allesomvattende aanpak van Microsoft op het gebied van AI met de lancering van Bing Chat. Terwijl Bard al in ontwikkeling was, besloot Google de AI-chatbot met spoed op de markt te brengen. Het resultaat was een beschamende demonstratie van de mogelijkheden van de AI. Bard werd een maand na de showcase gelanceerd en had fouten. Sindsdien is het enorm verbeterd, maar die vroege lancering was zwaar.
Het lijkt erop dat Gemini een soortgelijk proces doormaakt. Interessant genoeg waren er onlangs berichten dat Google de lancering van Gemini zou uitstellen. Onnauwkeurigheden en problemen met meertalige mogelijkheden zouden achter de vertraging liggen. Natuurlijk heeft het uitstel nooit plaatsgevonden, maar de zorgen over de prestaties van Gemini ontvouwen zich nu na de lancering.
