Microsoft Research telah meluncurkan tambahan terbarunya pada dunia model bahasa: phi-1.5. Dirancang untuk unggul dalam berbagai format, termasuk QA, chat, dan kode, model berbasis Transformer ini dilengkapi dengan 1,3 miliar parameter. Ini dilatih dengan perpaduan data yang kaya, mulai dari kode Python yang bersumber dari StackOverflow hingga latihan yang terinspirasi oleh gpt-3.5-turbo-0301.
Metrik Kinerja dalam Sorotan
Dalam hal performa, phi-1.5 sangat cocok untuk menyaingi model bahasa besar. Model ini bersaing secara baik dalam kategorinya, menunjukkan hasil yang mengesankan, terutama jika dibandingkan dengan model dengan parameter serupa. Dalam evaluasi benchmark, phi-1.5 tidak hanya cocok tetapi dalam beberapa kasus, melampaui kemampuan model seperti llama-2 7b Meta, terutama dalam skor AGIEval dan rangkaian Benchmark GPT4ALL.
Merangkul Etos Sumber Terbuka
Dalam sebuah langkah yang sejalan dengan etos komunitas teknologi yang lebih luas, Microsoft telah merilis phi-1.5 sebagai model sumber terbuka. Hasil? Untuk mendorong kolaborasi dan memberi para peneliti di seluruh dunia alat serbaguna untuk mengatasi tantangan mendesak dalam keamanan AI, mitigasi bias, dan banyak lagi.
Bagi para penggemar yang mencari pemahaman lebih dalam, Hugging Face menyediakan in-tampilan mendalam pada phi-1.5. Strategi pelatihan model ini merupakan evolusi dari pendahulunya, phi-1, yang diperkaya dengan sumber data baru yang berisi teks sintetis NLP. Meskipun model ini memiliki kekuatan tersendiri, model ini menghindari metode pelatihan tertentu, seperti mengikuti instruksi atau pembelajaran penguatan dari masukan manusia.
A laporan teknis yang dipublikasikan di ArXiv menawarkan wawasan lebih lanjut tentang pengembangan model. Penekanannya adalah pada memanfaatkan kekuatan penalaran akal sehat dalam bahasa alami. Phi-1.5, meskipun mencerminkan beberapa karakteristik LLM yang lebih besar, menghadirkan kekuatan unik, terutama dalam bidang keselamatan, dengan secara sadar menghilangkan data web selama fase pelatihannya.
