MiniMax, uma startup de IA com sede em Cingapura apoiada pela Alibaba e Tencent, revelou uma nova série de modelos de IA apresentando janelas de contexto de token recordes de 4 milhões.
O lançamento do MiniMax-Text-01 e MiniMax-VL-01 posiciona a empresa como um sério concorrente de empresas estabelecidas players como OpenAI e Google, oferecendo recursos avançados para aplicativos que exigem memória sustentada e amplo processamento de entradas.
Os modelos, projetados para lidar com tarefas que envolvem documentos longos, raciocínio complexo e entradas multimodais, marcam um salto em frente na IA escalabilidade e acessibilidade. O anúncio da MiniMax destaca seu foco no desenvolvimento de agentes de IA, atendendo à crescente demanda por sistemas capazes de processamento de contexto estendido.
O MiniMax-Text-01 apresenta um total de 456 bilhões de parâmetros, com 45,9 bilhões ativados por token durante a inferência. Projetado para processamento eficiente de contexto longo, ele emprega um mecanismo de atenção híbrido que combina camadas lineares e SoftMax para otimizar a escalabilidade. O modelo suporta uma janela de contexto de até 1 milhão de tokens durante o treinamento, estendendo-se a impressionantes 4 milhões de tokens em inferência.
Equipado com um Módulo Vision Transformer (ViT), o MiniMax-VL-01 é adaptado para aplicações multimodais. Ele processa 512 bilhões de tokens de linguagem de visão usando um pipeline de treinamento estruturado de quatro estágios, garantindo um desempenho robusto em tarefas que exigem a integração de dados visuais e textuais.
O que 4 milhões de tokens significam para a IA Desenvolvimento
A janela de contexto nos modelos de IA determina quanta informação eles podem processar simultaneamente, com cada token representando um fragmento de dados, como uma palavra ou sinal de pontuação.
A capacidade de 4 milhões de tokens do
MiniMax-Text-01 supera significativamente os padrões do setor , incluindo o GPT-4 da OpenAI (32.000 tokens) e o Gemini 1.5 Pro do Google (2 milhões de tokens).
De acordo com a MiniMax, essa capacidade estendida permite que seus modelos processem volumes de dados equivalentes a vários livros em uma única troca.
A empresa declarou em sua conta X: “O MiniMax-01 processa com eficiência até 4 milhões de tokens – 20 a 32 vezes a capacidade de outros modelos líderes. Acreditamos que o MiniMax-01 está preparado para suportar o aumento previsto de aplicações relacionadas a agentes no próximo ano, à medida que os agentes exigem cada vez mais recursos estendidos de manipulação de contexto e memória sustentada.”
MiniMax-01 já está disponível Código aberto: ampliando a atenção relâmpago para a era do agente de IA
Temos o prazer de apresentar nossos mais recentes modelos de código aberto: o modelo de linguagem fundamental MiniMax-Text-01 e o modelo visual multimodal MiniMax-VL-01.
💪Atenção relâmpago inovadora… pic.twitter.com/LbJhhmxD4P
— MiniMax (oficial) (@MiniMax__AI) 14 de janeiro de 2025
Esse recurso abre portas para aplicações em áreas como pesquisa análise, processamento de documentos jurídicos e simulações baseadas em IA, onde o manuseio de grandes conjuntos de dados é essencial.
Imagem: MiniMax
A tecnologia por trás do MiniMax-01
No coração dos novos modelos do MiniMax está sua “arquitetura Lightning Attention”, um sistema híbrido que combina camadas de atenção lineares e “SoftMax”. Ao contrário dos modelos de transformadores tradicionais, que dimensionam a complexidade computacional quadraticamente com o tamanho da entrada, o Lightning Attention alcança escalabilidade quase linear, permitindo o processamento eficiente de sequências longas.
Além disso, os modelos integram um Estrutura de mistura de especialistas (MoE), que consiste em 32 submodelos, ou “especialistas”, que são ativados seletivamente dependendo da tarefa.
Esse design otimiza os recursos computacionais enquanto mantém o alto desempenho. Suporta tecnologias como Varlen Ring Attention, que minimiza o desperdício computacional para sequências de comprimento variável e Otimizações de kernel CUDA melhoram ainda mais a escalabilidade e a eficiência dos modelos.
Benchmarks e desempenho
Ambos os modelos MiniMax-01 demonstraram resultados competitivos sobre benchmarks padrão da indústria Por exemplo, MiniMax-Text-01 alcançou 100% de precisão no teste Needle-in-a-Haystack com seu contexto estendido, correspondendo ao Gemini 1.5 Pro do Google.
Fonte: MiniMax
Em tarefas multimodais, MiniMax-VL-01 se destaca em avaliações de linguagem visual, com 96,4% de precisão no DocVQA e 91,7% nos benchmarks AI2D.
Fonte: MiniMax
Apesar dessas conquistas, os especialistas alertam que benchmarks como Needle-in-a-Haystack pode não refletir totalmente os aplicativos do mundo real. Estudos sugerem que, embora grandes janelas de contexto sejam valiosas, sua eficácia depende de como elas são utilizadas, especialmente em tarefas que exigem geração aumentada de recuperação (RAG).
Acessibilidade e preços competitivos
MiniMax disponibilizou seus modelos em plataformas como GitHub e Hugging Face, bem como por meio de sua plataforma proprietária Hailuo AI.
Os desenvolvedores também podem acessá-los via API a taxas altamente competitivas: US$ 0,20 por milhão de tokens de entrada e US$ 1,10 por milhão de tokens de saída. Esse preço reduz significativamente a API GPT-4 da OpenAI, que cobra US$ 2,50 por milhão de tokens de entrada.
No entanto, O licenciamento do MiniMax inclui restrições. Por exemplo, plataformas com mais de 100 milhões de utilizadores ativos mensais devem obter permissões especiais e os modelos não podem ser utilizados para melhorar sistemas rivais de IA. Essas condições podem limitar a adoção entre empresas maiores.
Desafios éticos e contexto regulatório
O MiniMax enfrenta um escrutínio contínuo em relação ao uso de materiais protegidos por direitos autorais em conjuntos de dados de treinamento. O serviço de streaming chinês iQiyi entrou com uma ação judicial acusando a empresa de uso não autorizado uso de suas gravações, enquanto o aplicativo Talkie do MiniMax, que apresentava avatares de figuras públicas gerados por IA, foi removido da App Store da Apple em dezembro de 2024 por motivos não especificados violações.
Essas questões surgem à medida que os controles de exportação de tecnologias de IA dos EUA ficam mais rígidos. Novas regulamentações, anunciadas pela administração Biden, visam restringir a venda de chips e tecnologias avançadas de IA para empresas chinesas. Essas medidas podem complicar o acesso da MiniMax ao hardware necessário para treinar e dimensionar seus modelos.
MiniMax em um cenário competitivo de IA
Fundada em 2021 por ex-funcionários do SenseTime, a MiniMax expandiu rapidamente seu portfólio, desde modelos de texto e multimodais até geradores de vídeo. O modelo Video-01 da plataforma Hailuo AI ganhou atenção por sua capacidade de gerar vídeos realistas, destacando-se particularmente em áreas como movimentos das mãos humanas-um aspecto desafiador da geração de vídeo.
Embora o MiniMax tenha se posicionado como um custo-alternativa eficaz aos gigantes da indústria, a sua capacidade de enfrentar desafios legais e obstáculos regulamentares será fundamental para o seu crescimento contínuo.
