MiniMax, una startup de inteligencia artificial con sede en Singapur respaldada por Alibaba y Tencent, ha presentado una nueva serie de modelos de inteligencia artificial que presentan un récord de 4 millones de ventanas contextuales de tokens.
El lanzamiento de MiniMax-Text-01 y MiniMax-VL-01 posiciona a la empresa como un serio competidor de los ya establecidos. jugadores como OpenAI y Google, que ofrecen capacidades avanzadas para aplicaciones que requieren memoria sostenida y un amplio manejo de entradas.
Los modelos, diseñados para manejar tareas que involucran documentos largos, razonamiento complejo y entradas multimodales, marcan un salto adelante en la IA. escalabilidad y asequibilidad. El anuncio de MiniMax destaca su enfoque en el desarrollo de agentes de IA, abordando la creciente demanda de sistemas capaces de procesamiento de contexto extendido.
El MiniMax-Text-01 presenta un total de 456 mil millones de parámetros, con 45,9 mil millones activados por token durante la inferencia. Diseñado para un procesamiento eficiente de contexto largo, emplea un mecanismo de atención híbrido que combina capas lineales y SoftMax para optimizar la escalabilidad. El modelo admite una ventana de contexto de hasta 1 millón de tokens durante el entrenamiento, que se extiende a la impresionante cifra de 4 millones de tokens en inferencia.
Equipado con un Vision Transformer (ViT), el MiniMax-VL-01 está diseñado para aplicaciones multimodales. Procesa una gran cantidad de 512 mil millones de tokens de lenguaje visual utilizando un proceso de capacitación estructurado de cuatro etapas, lo que garantiza un rendimiento sólido en tareas que requieren la integración de datos visuales y textuales.
Qué significan 4 millones de tokens para la IA Desarrollo
La ventana de contexto en los modelos de IA determina cuánta información pueden procesar simultáneamente, y cada token representa un fragmento de datos, como una palabra o un signo de puntuación.
La capacidad de 4 millones de tokens de MiniMax-Text-01 supera significativamente los estándares de la industria , incluido GPT-4 de OpenAI (32.000 tokens) y Gemini 1.5 Pro de Google (2 millones de tokens).
Según MiniMax, esta capacidad ampliada permite que sus modelos procesen volúmenes de datos equivalentes a varios libros en un solo intercambio.
La compañía declaró en su cuenta X: “MiniMax-01 procesa eficientemente hasta 4 millones de tokens, entre 20 y 32 veces la capacidad de otros modelos líderes. Creemos que MiniMax-01 está preparado para respaldar el aumento previsto de aplicaciones relacionadas con agentes durante el próximo año, ya que los agentes requieren cada vez más capacidades de manejo de contexto ampliadas y memoria sostenida”.
MiniMax-01 ya está disponible Código abierto: ampliación de la atención relámpago para la era de los agentes de IA
Estamos encantados de presentar nuestros últimos modelos de código abierto: el modelo de lenguaje fundamental MiniMax-Text-01 y el modelo visual multimodal. MiniMax-VL-01.
💪Atención relámpago innovadora… pic.twitter.com/LbJhhmxD4P
— MiniMax (oficial) (@MiniMax__AI) 14 de enero de 2025
Esta capacidad abre puertas para aplicaciones en campos como la investigación análisis, procesamiento de documentos legales y simulaciones impulsadas por IA, donde el manejo de grandes conjuntos de datos es esencial.
Imagen: MiniMax
La tecnología detrás de MiniMax-01
En el corazón de los nuevos modelos de MiniMax se encuentra su”arquitectura Lightning Attention”, un sistema híbrido que combina capas de atención lineal y”SoftMax”. A diferencia de los modelos de transformadores tradicionales, que escalan la complejidad computacional cuadráticamente con el tamaño de entrada, Lightning Attention logra una escalabilidad casi lineal, lo que permite el procesamiento eficiente de secuencias largas.
Además, los modelos integran un marco de mezcla de expertos (MoE), que consta de 32 submodelos, o”expertos”, que se activan selectivamente según la tarea.
Este diseño optimiza los recursos computacionales mientras mantiene un alto rendimiento. Admite tecnologías como Varlen Ring Attention, que minimiza el desperdicio computacional para secuencias de longitud variable y Las optimizaciones del kernel CUDA mejoran aún más la escalabilidad y eficiencia de los modelos.
Puntos de referencia y rendimiento
Ambos modelos MiniMax-01 han demostrado Resultados competitivos en puntos de referencia estándar de la industria. Por ejemplo, MiniMax-Text-01 logró una precisión del 100% en la prueba Needle-in-a-Haystack con su contexto extendido, igualando al Gemini 1.5 Pro de Google.
Fuente: MiniMax
En tareas multimodales, MiniMax-VL-01 sobresale en evaluaciones de visión y lenguaje, con un 96,4 % de precisión en DocVQA y un 91,7 % en los puntos de referencia AI2D.
Fuente: MiniMax
A pesar de estos logros, los expertos advierten que puntos de referencia como Needle Es posible que-in-a-Haystack no refleje completamente las aplicaciones del mundo real. Los estudios sugieren que, si bien las ventanas de contexto grandes son valiosas, su eficacia depende de cómo se utilizan, especialmente en tareas que requieren generación aumentada de recuperación (RAG).
Accesibilidad y precios competitivos
MiniMax ha hecho que sus modelos estén disponibles en plataformas como GitHub y Hugging Face, así como a través de su plataforma patentada Hailuo AI.
Los desarrolladores también pueden acceder a ellos a través de API a tarifas altamente competitivas: 0,20 dólares por millón de tokens de entrada y 1,10 dólares por millón de tokens de salida. Este precio rebaja significativamente la API GPT-4 de OpenAI, que cobra 2,50 dólares por millón de tokens de entrada.
Sin embargo, La licencia de MiniMax incluye restricciones. Por ejemplo, las plataformas con más de 100 millones de usuarios activos mensuales deben obtener permisos especiales y los modelos no pueden usarse para mejorar los sistemas de inteligencia artificial rivales. Estas condiciones pueden limitar la adopción entre las empresas más grandes.
Desafíos éticos y contexto regulatorio
MiniMax enfrenta un escrutinio continuo con respecto a su uso de materiales protegidos por derechos de autor en conjuntos de datos de capacitación. El servicio de streaming chino iQiyi ha presentado una demanda acusando a la empresa de uso de sus grabaciones, mientras que la aplicación Talkie de MiniMax, que presentaba avatares de figuras públicas generados por IA, fue eliminada de la App Store de Apple en diciembre de 2024 por motivos no especificados. violaciones.
Estos problemas surgen a medida que se endurecen los controles de exportación de tecnologías de inteligencia artificial en Estados Unidos. Las nuevas regulaciones, anunciadas por la administración Biden, tienen como objetivo restringir la venta de tecnologías y chips de inteligencia artificial avanzados a empresas chinas. Estas medidas podrían complicar el acceso de MiniMax al hardware necesario para entrenar y escalar sus modelos.
MiniMax en un panorama competitivo de IA
Fundada en 2021 por ex empleados de SenseTime, MiniMax ha ampliado rápidamente su cartera, desde modelos de texto y multimodales hasta generadores de vídeo. El modelo Video-01 de su plataforma Hailuo AI llamó la atención por su capacidad para generar videos realistas, sobresaliendo particularmente en áreas como los movimientos de la mano humana, un aspecto desafiante de la generación de videos.
Si bien MiniMax se ha posicionado como una solución rentable alternativa eficaz a los gigantes de la industria, su capacidad para sortear desafíos legales y obstáculos regulatorios será fundamental para su crecimiento continuo.
