Microsoft Research hat seine neueste Ergänzung zur Welt der Sprachmodelle vorgestellt: phi-1.5. Dieses auf Transformer basierende Modell wurde für eine Vielzahl von Formaten wie Qualitätssicherung, Chat und Code entwickelt und ist mit 1,3 Milliarden Parametern ausgestattet. Das Training basiert auf einer umfangreichen Datenmischung, von Python-Codes aus StackOverflow bis hin zu Übungen, die von gpt-3.5-turbo-0301 inspiriert wurden.
Leistungsmetriken im Rampenlicht
Wenn es um die Leistung geht, kann sich phi-1.5 gut mit großen Sprachmodellen messen. Das Modell schneidet in seiner Kategorie gut ab und liefert beeindruckende Ergebnisse, insbesondere im Vergleich zu Modellen mit ähnlichen Parametern. In Benchmark-Bewertungen entsprach phi-1.5 nicht nur den Fähigkeiten von Modellen wie Metas Lama-2 7b, sondern übertraf sie in einigen Fällen sogar, insbesondere im AGIEval-Score und der Benchmark-Suite von GPT4ALL.
Umfassen Open-Source-Ethos
In einem Schritt, der dem Ethos der breiteren Tech-Community entspricht, hat Microsoft phi-1.5 als Open-Source-Modell veröffentlicht. Das Ziel? Förderung der Zusammenarbeit und Bereitstellung eines vielseitigen Tools für Forscher weltweit zur Bewältigung dringender Herausforderungen in den Bereichen KI-Sicherheit, Voreingenommenheitsminderung und mehr.
Für Enthusiasten, die ein tieferes Verständnis suchen, bietet Hugging Face eine Einführung Tiefenblick auf Phi-1,5. Die Trainingsstrategie des Modells ist eine Weiterentwicklung seines Vorgängers, phi-1, angereichert mit einer neuen Datenquelle voller synthetischer NLP-Texte. Obwohl das Modell an sich ein Kraftpaket ist, verzichtet es auf bestimmte Trainingsmethoden, wie z. B. das Befolgen von Anweisungen oder das verstärkende Lernen durch menschliches Feedback.
A technischer Bericht auf ArXiv veröffentlicht bietet weitere Einblicke in die Entwicklung des Modells. Der Schwerpunkt lag auf der Nutzung der Kraft des gesunden Menschenverstandes in natürlicher Sprache. Phi-1.5 spiegelt zwar einige Merkmale größerer LLMs wider, bringt jedoch einzigartige Stärken mit sich, insbesondere im Bereich der Sicherheit, indem während der Trainingsphase bewusst auf Webdaten verzichtet wird.
