Microsoft telah memperkenalkan inisiatif DeepSpeed4Science melalui tim DeepSpeed-nya. Inisiatif ini berfokus pada penerapan pembelajaran mendalam dalam ilmu pengetahuan alam, yang menargetkan bidang-bidang seperti pengembangan obat-obatan dan energi terbarukan. Sistem DeepSpeed, kerangka kerja AI sumber terbuka dari Microsoft, memainkan peran penting dalam usaha baru ini, yang bertujuan untuk meningkatkan kecepatan dan skala proses pembelajaran mendalam.
Desain dan Kolaborasi DeepSpeed4Science
DeepSpeed4Science berupaya mengatasi kompleksitas penemuan ilmiah, melampaui kemampuan yang ada saat ini Sistem DeepSpeed. DeepSpeed memberdayakan pelatihan model seperti ChatGPT otomatis, menawarkan kecepatan 15x lebih cepat dibandingkan sistem SOTA RLHF dengan pengurangan biaya yang belum pernah terjadi sebelumnya di semua skala. SOTA RLHF adalah singkatan dari pembelajaran penguatan dari sistem umpan balik manusia yang canggih, sejenis sistem AI yang belajar untuk melakukan tugas dengan berinteraksi dengan “guru” manusia. Guru memberikan umpan balik ke sistem, yang kemudian menggunakan umpan balik tersebut untuk meningkatkan kinerjanya.
Sistem SOTA RLHF telah digunakan untuk mencapai hasil yang mengesankan dalam berbagai tugas, termasuk bermain video game, menulis berbagai jenis konten kreatif, dan menjawab pertanyaan Anda dengan cara yang informatif. Namun, latihan ini memerlukan biaya komputasi yang mahal dan sering kali memerlukan banyak masukan dari manusia.
DeepSpeed adalah sistem yang mengoptimalkan pelatihan model bahasa besar semacam itu. Dapat digunakan untuk melatih sistem SOTA RLHF, meskipun hal ini tidak sepenuhnya menghilangkan kebutuhan akan umpan balik manusia.
Inisiatif DeepSpeed4Science bekerja sama dengan berbagai tim yang berspesialisasi dalam model sains berbasis AI, yang mencakup domain seperti ilmu iklim dan molekuler simulasi dinamika. Tujuannya adalah untuk mengembangkan DeepSpeed4Science sebagai platform untuk berbagi teknologi AI yang mendukung penelitian ilmiah, sejalan dengan Microsoft Etos “AI untuk Kebaikan.
Fitur Utama dan Kemitraan
DeepSpeed4Science telah mendapatkan dukungan dari beberapa model sains utama dari Microsoft Research AI4Science, Microsoft WebXT, Bing, dan DoE AS Lab Nasional. Salah satu kolaborasi penting adalah dengan Scientific Foundation Model (SFM) dari Microsoft Research AI4Science. Model ini bertujuan untuk membangun model landasan komprehensif berskala besar yang mendukung penemuan ilmu pengetahuan alam. Proyek penting lainnya adalah ClimaX, yang pertama model pondasi yang dirancang untuk spektrum tugas pemodelan cuaca dan iklim yang luas. Model ini dapat mengasimilasi beragam kumpulan data, sehingga berpotensi meningkatkan akurasi prediksi cuaca. Selain itu, inisiatif ini juga bekerja sama dengan kolaborator eksternal seperti OpenFold Universitas Columbia dan GenSLM Laboratorium Nasional Argonne, keduanya berfokus pada penelitian biologi struktural.
