MiniMax, een in Singapore gevestigde AI-startup, gesteund door Alibaba en Tencent, heeft een nieuwe serie AI-modellen onthuld met recordbrekende contextvensters van 4 miljoen tokens.
De release van MiniMax-Text-01 en MiniMax-VL-01 positioneert het bedrijf als een serieuze concurrent van gevestigde spelers als OpenAI en Google, die geavanceerde mogelijkheden bieden voor toepassingen die langdurig geheugen en uitgebreide invoerverwerking vereisen.
De modellen, ontworpen om taken uit te voeren met lange documenten, complexe redeneringen en multimodale invoer, markeren een sprong voorwaarts in AI schaalbaarheid en betaalbaarheid. De aankondiging van MiniMax benadrukt de focus op de ontwikkeling van AI-agenten, waarmee wordt tegemoetgekomen aan de groeiende vraag naar systemen die in staat zijn tot uitgebreide contextverwerking.
De MiniMax-Text-01-model beschikt in totaal over 456 miljard parameters, waarvan er 45,9 miljard per token worden geactiveerd tijdens gevolgtrekking. Het is ontworpen voor efficiënte lange-contextverwerking en maakt gebruik van een hybride aandachtsmechanisme dat lineaire en SoftMax-lagen combineert om de schaalbaarheid te optimaliseren. Het model ondersteunt een contextvenster van maximaal 1 miljoen tokens tijdens training, wat zich uitbreidt tot een indrukwekkende 4 miljoen tokens bij gevolgtrekking.
Uitgerust met een lichtgewicht Vision Transformer (ViT) module, de MiniMax-VL-01-model is op maat gemaakt voor multimodale toepassingen. Het verwerkt een uitgebreide 512 miljard vision-taaltokens met behulp van een gestructureerde trainingspijplijn in vier fasen, waardoor robuuste prestaties worden gegarandeerd bij taken die de integratie van visuele en tekstuele gegevens vereisen.
Wat 4 miljoen tokens betekenen voor AI Ontwikkeling
Het contextvenster in AI-modellen bepaalt hoeveel informatie ze tegelijkertijd kunnen verwerken, waarbij elk token een gegevensfragment vertegenwoordigt, zoals een woord of leesteken.
MiniMax-Text-01‘s capaciteit van 4 miljoen tokens overtreft aanzienlijk de industrienormen , inclusief OpenAI’s GPT-4 (32.000 tokens) en Google’s Gemini 1.5 Pro (2 miljoen tokens).
Volgens MiniMax zorgt deze uitgebreide capaciteit ervoor dat hun modellen verwerken in één keer gegevensvolumes die gelijkwaardig zijn aan meerdere boeken.
Het bedrijf verklaarde op zijn X-account: “MiniMax-01 verwerkt efficiënt tot 4 miljoen tokens – 20 tot 32 keer de capaciteit van andere toonaangevende modellen. Wij geloven dat MiniMax-01 klaar is om de verwachte stijging van het aantal agent-gerelateerde applicaties in het komende jaar te ondersteunen, omdat agenten steeds meer uitgebreide contextverwerkingsmogelijkheden en duurzaam geheugen nodig hebben.”
MiniMax-01 is nu Open source: bliksemsnelle schaalvergroting Aandacht voor het AI-agenttijdperk
We zijn blij om onze nieuwste open source-modellen te introduceren: het fundamentele taalmodel MiniMax-Text-01 en het visuele multimodale model MiniMax-VL-01.
💪Innovatieve bliksemaandacht… pic.twitter.com/LbJhhmxD4P
— MiniMax (officieel) (@MiniMax__AI) 14 januari 2025
Deze mogelijkheid opent deuren voor toepassingen op gebieden zoals onderzoek analyse, juridische documentverwerking en AI-gestuurde simulaties, waarbij het omgaan met grote datasets essentieel is.
Afbeelding: MiniMax
De technologie achter MiniMax-01
De kern van de nieuwe modellen van MiniMax wordt gevormd door de ‘Lightning Attention-architectuur’, een hybride systeem dat lineaire en ‘SoftMax’-aandachtslagen combineert. In tegenstelling tot traditionele transformatormodellen, die de rekencomplexiteit kwadratisch schalen met de invoergrootte, bereikt Lightning Attention een vrijwel lineaire schaalbaarheid, waardoor efficiënte verwerking van lange reeksen mogelijk is.
Bovendien integreren de modellen een Mixture of Experts (MoE)-framework, dat bestaat uit 32 submodellen, of’experts’, die selectief worden geactiveerd, afhankelijk van de taak.
Dit ontwerp optimaliseert computerbronnen met behoud van hoge prestaties. Ondersteunende technologieën zoals Varlen Ring Attention, dat rekenverspilling voor reeksen met variabele lengte minimaliseert, en aangepaste CUDA kerneloptimalisaties. verbeteren de schaalbaarheid en efficiëntie van de modellen verder.
Benchmarks en prestaties
Beide MiniMax-01-modellen hebben bijvoorbeeld concurrerende resultaten laten zien op industriestandaard benchmarks , MiniMax-Text-01 behaalde een nauwkeurigheid van 100% in de Needle-in-a-Hooiberg-test met zijn uitgebreide context, passend bij Google’s Gemini 1.5 Pro.
Bron: MiniMax
Bij multimodale taken blinkt MiniMax-VL-01 uit in visuele-taalevaluaties, met een nauwkeurigheid van 96,4% op DocVQA en 91,7% op AI2D-benchmarks.
Bron: MiniMax
Ondanks deze prestaties waarschuwen experts ervoor dat benchmarks zoals Needle-in-a-Hooiberg weerspiegelt mogelijk niet volledig de toepassingen in de echte wereld. Uit onderzoek blijkt dat hoewel grote contextvensters waardevol zijn, de effectiviteit ervan afhangt van de manier waarop ze worden gebruikt, vooral bij taken waarvoor retrieval-augmented generatie (RAG) vereist is.
Toegankelijkheid en concurrerende prijzen
/h3>
MiniMax heeft zijn modellen beschikbaar gemaakt op platforms als GitHub en Hugging Face, maar ook via het eigen Hailuo AI-platform.
Ontwikkelaars hebben er ook toegang toe via API tegen zeer concurrerende tarieven: $0,20 per miljoen inputtokens en $1,10 per miljoen outputtokens. Deze prijsstelling is aanzienlijk lager dan de GPT-4 API van OpenAI, die $ 2,50 per miljoen invoertokens in rekening brengt.
Echter De licentieverlening van MiniMax omvat beperkingen. Platformen met maandelijks meer dan 100 miljoen actieve gebruikers moeten bijvoorbeeld speciale toestemming verkrijgen, en de modellen kunnen niet worden gebruikt om concurrerende AI-systemen te verbeteren. Deze omstandigheden kunnen de acceptatie door grotere ondernemingen beperken.
Ethische uitdagingen en regelgevingscontext
MiniMax wordt voortdurend onder de loep genomen met betrekking tot het gebruik van auteursrechtelijk beschermd materiaal in trainingsdatasets. De Chinese streamingdienst iQiyi heeft een rechtszaak aangespannen waarin het bedrijf wordt beschuldigd van ongeautoriseerde gebruik van de opnames, terwijl de Talkie-app van MiniMax, met door AI gegenereerde avatars van publieke figuren, in december 2024 uit de App Store van Apple werd verwijderd wegens niet-gespecificeerde schendingen.
Deze problemen ontstaan nu de Amerikaanse exportcontroles op AI-technologieën strenger worden. Nieuwe regelgeving, aangekondigd door de regering-Biden, heeft tot doel de verkoop van geavanceerde AI-chips en-technologieën aan Chinese bedrijven te beperken. Deze maatregelen kunnen de toegang van MiniMax tot de hardware die nodig is om zijn modellen te trainen en te schalen bemoeilijken.
MiniMax in een competitief AI-landschap
Opgericht in 2021 door voormalige werknemers van SenseTime heeft MiniMax zijn portfolio snel uitgebreid, van tekst-en multimodale modellen tot videogeneratoren. Het Video-01-model van het Hailuo AI-platform kreeg de aandacht vanwege zijn vermogen om realistische video’s te genereren, met name door uit te blinken op gebieden als menselijke handbewegingen-een uitdagend aspect van videogeneratie.
Terwijl MiniMax zichzelf heeft gepositioneerd als een kosten-Als effectief alternatief voor industriële reuzen zal het vermogen van het bedrijf om met juridische uitdagingen en hindernissen op regelgevingsgebied om te gaan van cruciaal belang zijn voor de voortdurende groei.
