Microsoft Research ha presentado su última incorporación al mundo de los modelos de lenguaje: phi-1.5. Diseñado para sobresalir en una variedad de formatos, incluidos control de calidad, chat y código, este modelo basado en Transformer está equipado con 1,3 mil millones de parámetros. Está entrenado en una rica combinación de datos, desde códigos Python obtenidos de StackOverflow hasta ejercicios inspirados en gpt-3.5-turbo-0301.
Métricas de rendimiento en el centro de atención
En lo que respecta al rendimiento, phi-1.5 se adapta bien a los modelos de lenguajes grandes rivales. El modelo compite favorablemente en su categoría y muestra resultados impresionantes, especialmente si se compara con modelos con parámetros similares. En las evaluaciones comparativas, phi-1.5 no solo igualó sino que, en algunos casos, superó las capacidades de modelos como el llama-2 7b de Meta, especialmente en la puntuación AGIEval y la suite Benchmark de GPT4ALL.
Abrazando el Ética de código abierto
En una medida que resuena con la ética de la comunidad tecnológica en general, Microsoft ha lanzado phi-1.5 como modelo de código abierto. ¿La meta? Fomentar la colaboración y proporcionar a los investigadores de todo el mundo una herramienta versátil para abordar desafíos urgentes en seguridad de la IA, mitigación de sesgos y más.
Para los entusiastas que buscan una comprensión más profunda, Hugging Face proporciona una mirada profunda a phi-1.5. La estrategia de entrenamiento del modelo es una evolución de su predecesor, phi-1, enriquecida con una nueva fuente de datos repleta de textos sintéticos de PNL. Si bien el modelo es una potencia por derecho propio, se mantiene alejado de ciertos métodos de entrenamiento, como el seguimiento de instrucciones o el aprendizaje reforzado a partir de la retroalimentación humana.
A informe técnico publicado en ArXiv ofrece más información sobre el desarrollo del modelo. Se ha hecho hincapié en aprovechar el poder del razonamiento de sentido común en el lenguaje natural. Phi-1.5, si bien refleja algunas características de los LLM más grandes, aporta fortalezas únicas, especialmente en el ámbito de la seguridad, al omitir conscientemente datos web durante su fase de capacitación.
