Microsoft đã giới thiệu sáng kiến DeepSpeed4Science thông qua nhóm DeepSpeed. Sáng kiến này tập trung vào ứng dụng deep learning trong khoa học tự nhiên, nhắm tới các lĩnh vực như phát triển thuốc và năng lượng tái tạo. Hệ thống DeepSpeed, một khung AI nguồn mở của Microsoft, đóng vai trò trung tâm trong liên doanh mới này, nhằm nâng cao tốc độ và quy mô của các quy trình học sâu.
Thiết kế và cộng tác của DeepSpeed4Science
Thiết kế và cộng tác của DeepSpeed4Science
DeepSpeed4Science tìm cách giải quyết những vấn đề phức tạp đặc trưng của các khám phá khoa học, vượt xa khả năng của hiện tại Hệ thống DeepSpeed. DeepSpeed hỗ trợ đào tạo mô hình giống ChatGPT được tự động hóa, cung cấp khả năng tăng tốc gấp 15 lần so với hệ thống SOTA RLHF với mức giảm chi phí chưa từng có ở mọi quy mô. SOTA RLHF là viết tắt của học tập tăng cường từ hệ thống phản hồi của con người tiên tiến nhất, một loại hệ thống AI học cách thực hiện các nhiệm vụ bằng cách tương tác với một “giáo viên” con người. Giáo viên cung cấp phản hồi cho hệ thống, sau đó hệ thống sử dụng phản hồi đó để cải thiện hiệu suất của mình.
Hệ thống SOTA RLHF đã được sử dụng để đạt được kết quả ấn tượng trên nhiều lĩnh vực khác nhau các nhiệm vụ, bao gồm chơi trò chơi điện tử, viết các loại nội dung sáng tạo khác nhau và trả lời các câu hỏi của bạn một cách giàu thông tin. Tuy nhiên, việc đào tạo các công việc này có thể tốn kém về mặt tính toán và thường yêu cầu lượng lớn phản hồi của con người.
DeepSpeed là một hệ thống tối ưu hóa hình thức đào tạo các mô hình ngôn ngữ lớn. Nó có thể được sử dụng để đào tạo các hệ thống SOTA RLHF, mặc dù nó không loại bỏ hoàn toàn nhu cầu phản hồi của con người.
Sáng kiến DeepSpeed4Science hợp tác với nhiều nhóm khác nhau chuyên về các mô hình khoa học do AI điều khiển, trải rộng trên các lĩnh vực như khoa học khí hậu và phân tử mô phỏng động lực học. Mục tiêu là phát triển DeepSpeed4Science như một nền tảng để chia sẻ các công nghệ AI hỗ trợ nghiên cứu khoa học, phù hợp với của Microsoft Đặc tính “AI for Good”.
Các tính năng chính và quan hệ đối tác
DeepSpeed4Science đã nhận được sự hỗ trợ từ một số mô hình khoa học quan trọng từ Nghiên cứu AI4Science của Microsoft, Microsoft WebXT, Bing và DoE Hoa Kỳ Phòng thí nghiệm quốc gia. Một sự hợp tác đáng chú ý là với Mô hình nền tảng khoa học (SFM) từ Microsoft Research AI4Science. Mô hình này mong muốn thiết lập một mô hình nền tảng quy mô lớn toàn diện nhằm hỗ trợ khám phá khoa học tự nhiên. Một dự án quan trọng khác là ClimaX, dự án đầu tiên mô hình nền tảng được thiết kế cho nhiều nhiệm vụ lập mô hình thời tiết và khí hậu. Mô hình này có thể đồng hóa các bộ dữ liệu khác nhau, có khả năng nâng cao độ chính xác của dự báo thời tiết. Hơn nữa, sáng kiến này cũng đang hợp tác với các cộng tác viên bên ngoài như OpenFold của Đại học Columbia và GenSLM của Phòng thí nghiệm Quốc gia Argonne, cả hai đều tập trung vào nghiên cứu sinh học cấu trúc.
