MiniMax, singapurski start-up zajmujący się sztuczną inteligencją, wspierany przez Alibaba i Tencent, zaprezentował nową serię modeli sztucznej inteligencji z rekordową liczbą 4 milionów okien kontekstowych tokenów.
Wydanie MiniMax-Text-01 i MiniMax-VL-01 pozycjonuje firmę jako poważnego konkurenta dla uznanych graczy, takich jak OpenAI i Google, oferujących zaawansowane możliwości dla aplikacji wymagających długotrwałej pamięci i rozbudowanej obsługi danych wejściowych.
Modele zaprojektowane do obsługi zadań obejmujących długie dokumenty, złożone rozumowanie i wprowadzanie multimodalne stanowią krok naprzód w Skalowalność i przystępność AI. Ogłoszenie MiniMax podkreśla skupienie się na rozwoju agentów AI, odpowiadając na rosnące zapotrzebowanie na systemy zdolne do rozszerzonego przetwarzania kontekstu.
The MiniMax-Text-01 zawiera łącznie 456 miliardów parametrów, z czego 45,9 miliarda jest aktywowanych na token podczas wnioskowania. Zaprojektowany do wydajnego przetwarzania długiego kontekstu, wykorzystuje hybrydowy mechanizm uwagi, który łączy warstwy liniowe i SoftMax w celu optymalizacji skalowalności. Model obsługuje okno kontekstowe zawierające do 1 miliona tokenów podczas uczenia, co pozwala na imponujące 4 miliony tokenów podczas wnioskowania.
Wyposażony w lekki Moduł Transformatora Wizyjnego (ViT), Model MiniMax-VL-01 jest dostosowany do zastosowań multimodalnych. Przetwarza obszerne 512 miliardów tokenów języka wizyjnego za pomocą ustrukturyzowanego, czteroetapowego procesu szkoleniowego, zapewniając solidną wydajność w zadaniach wymagających integracji danych wizualnych i tekstowych.
Co 4 miliony tokenów oznaczają dla sztucznej inteligencji Rozwój
Okno kontekstowe w modelach AI określa, ile informacji mogą przetwarzać jednocześnie, przy czym każdy token reprezentuje fragment danych, taki jak słowo lub znak interpunkcyjny.
MiniMax-Text-01 pojemność 4 milionów tokenów znacznie przewyższa standardy branżowe , w tym GPT-4 OpenAI (32 000 tokenów) i Gemini 1.5 Pro Google (2 miliony tokenów).
Według MiniMax, ta zwiększona pojemność pozwala ich modelom przetwarzać ilości danych odpowiadające kilku książkom w jednej wymianie.
Firma podała na swoim koncie X: „MiniMax-01 wydajnie przetwarza do 4 mln tokenów — czyli od 20 do 32 razy więcej niż inne wiodące modele. Wierzymy, że MiniMax-01 będzie w stanie obsłużyć przewidywany wzrost liczby aplikacji związanych z agentami w nadchodzącym roku, ponieważ agenci coraz częściej wymagają rozszerzonych możliwości obsługi kontekstu i trwałej pamięci.”
MiniMax-01 jest teraz dostępny Open-Source: Błyskawiczne skalowanie Uwaga na erę agentów AI
Cieszymy się, że możemy przedstawić nasze najnowsze modele open source: podstawowy model językowy MiniMax-Text-01 i wizualny multimodalny model MiniMax-VL-01.
💪Innowacyjna błyskawica Uwaga… pic.twitter.com/LbJhhmxD4P
— MiniMax (oficjalny) (@MiniMax__AI) 14 stycznia 2025 r.
Ta funkcja otwiera drzwi do zastosowań w takich dziedzinach jak badania analizy, przetwarzanie dokumentów prawnych i symulacje oparte na sztucznej inteligencji, gdzie niezbędna jest obsługa dużych zbiorów danych.
Obraz: MiniMax
Technologia stojąca za MiniMax-01
W sercu nowych modeli MiniMax leży „architektura Lightning Attention”, hybrydowy system łączący warstwy uwagi liniowej i „SoftMax”. W przeciwieństwie do tradycyjnych modeli transformatorów, które skalują złożoność obliczeniową kwadratowo w zależności od wielkości wejściowej, Lightning Attention osiąga niemal liniową skalowalność, umożliwiając wydajne przetwarzanie długich sekwencji.
Dodatkowo modele integrują Struktura mieszanki ekspertów (MoE), która składa się z 32 podmodeli, czyli „ekspertów”, aktywowanych selektywnie w zależności od zadanie
Taki projekt optymalizuje zasoby obliczeniowe przy jednoczesnym zachowaniu wysokiej wydajności. Obsługuje technologie, takie jak Varlen Ring Attention, które minimalizują straty obliczeniowe w przypadku sekwencji o zmiennej długości, oraz niestandardowe Optymalizacje jądra CUDA jeszcze bardziej zwiększają skalowalność i wydajność modeli.
Testy porównawcze i wydajność
Obydwa MiniMax-01 modele wykazały konkurencyjne wyniki w standardowych testach porównawczych. Na przykład MiniMax-Text-01 osiągnął 100% dokładność w teście „Igła w stogu siana” w rozszerzonym kontekście, co odpowiada testowi Google Gemini 1.5 Pro.
Źródło: MiniMax
W zadaniach multimodalnych MiniMax-VL-01 przoduje w ocenach wzrokowo-językowych, z dokładnością 96,4% w DocVQA i 91,7% w testach porównawczych AI2D.
Źródło: MiniMax
Pomimo tych osiągnięć eksperci ostrzegają, że testy porównawcze takie jak Needle-in-a-Haystack może nie w pełni odzwierciedlać zastosowania w świecie rzeczywistym. Badania sugerują, że chociaż duże okna kontekstowe są cenne, ich skuteczność zależy od sposobu ich wykorzystania, zwłaszcza w przypadku zadań wymagających generowania wspomaganego wyszukiwaniem (RAG).
Dostępność i konkurencyjne ceny
MiniMax udostępnił swoje modele na platformach takich jak GitHub i Przytulająca twarz, a także za pośrednictwem autorskiej platformy Hailuo AI.
Programiści mogą uzyskać do nich dostęp również za pośrednictwem interfejsu API po bardzo konkurencyjnych stawkach: 0,20 USD za milion tokenów wejściowych i 1,10 USD za milion tokenów wyjściowych. Ta cena znacznie podcina interfejs API GPT-4 OpenAI, który pobiera opłatę w wysokości 2,50 USD za milion tokenów wejściowych.
Jednak Licencja MiniMax zawiera ograniczenia. Na przykład platformy z ponad 100 milionami aktywnych użytkowników miesięcznie muszą uzyskać specjalne uprawnienia, a modeli nie można wykorzystywać do ulepszania konkurencyjnych systemów AI. Warunki te mogą ograniczać przyjęcie wśród większych przedsiębiorstw.
Wyzwania etyczne i kontekst regulacyjny
MiniMax jest poddawany ciągłej kontroli pod kątem wykorzystywania przez niego materiałów chronionych prawem autorskim w szkoleniowych zbiorach danych. Chiński serwis streamingowy iQiyi złożył pozew zarzucając firmie nieautoryzowane wykorzystanie jej nagrań, natomiast aplikacja Talkie firmy MiniMax, która zawierała awatary osób publicznych generowane przez sztuczną inteligencję, została usunięta ze sklepu Apple App Store w grudniu 2024 r. za nieokreślone naruszenia.
Problemy te pojawiają się w miarę zaostrzania kontroli eksportu technologii sztucznej inteligencji w USA. Nowe regulacje, ogłoszone przez administrację Bidena, mają na celu ograniczenie sprzedaży zaawansowanych chipów i technologii AI chińskim firmom. Środki te mogą skomplikować dostęp firmy MiniMax do sprzętu wymaganego do uczenia i skalowania jej modeli.
MiniMax w konkurencyjnym krajobrazie sztucznej inteligencji
Założona w 2021 r. przez byłych pracowników SenseTime, MiniMax szybko rozszerzył swoje portfolio, od modeli tekstowych i multimodalnych po generatory wideo. Model Video-01 na platformie Hailuo AI zwrócił uwagę na zdolność do generowania realistycznych filmów, szczególnie wyróżniając się w takich obszarach jak ruchy ludzkiej ręki – co stanowi wyzwanie w generowaniu wideo.
Chociaż MiniMax pozycjonuje się jako niedrogi skuteczną alternatywą dla gigantów branżowych, jej zdolność do radzenia sobie z wyzwaniami prawnymi i przeszkodami regulacyjnymi będzie kluczowa dla jej dalszego wzrostu.
