Nghiên cứu của Microsoft đã công bố phần bổ sung mới nhất cho thế giới mô hình ngôn ngữ: phi-1.5. Được thiết kế để vượt trội ở nhiều định dạng khác nhau, bao gồm QA, trò chuyện và mã, mẫu dựa trên Transformer này được trang bị 1,3 tỷ thông số. Nó được đào tạo dựa trên sự kết hợp dữ liệu phong phú, từ mã Python có nguồn từ StackOverflow đến các bài tập lấy cảm hứng từ gpt-3.5-turbo-0301.
Các chỉ số hiệu suất nổi bật
Khi nói đến hiệu suất, phi-1.5 rất phù hợp với các mô hình ngôn ngữ lớn cạnh tranh. Mô hình cạnh tranh thuận lợi trong hạng mục của nó, cho thấy kết quả ấn tượng, đặc biệt khi so sánh với các mô hình có thông số tương tự. Trong các đánh giá điểm chuẩn, phi-1.5 không chỉ phù hợp mà trong một số trường hợp còn vượt qua khả năng của các mẫu như llama-2 7b của Meta, đặc biệt là ở điểm AGIEval và bộ Benchmark của GPT4ALL.
Nắm bắt Đặc tính nguồn mở
Trong một động thái phù hợp với đặc tính của cộng đồng công nghệ rộng lớn hơn, Microsoft đã phát hành phi-1.5 dưới dạng mô hình nguồn mở. Mục đích? Để thúc đẩy sự hợp tác và cung cấp cho các nhà nghiên cứu trên toàn thế giới một công cụ linh hoạt nhằm giải quyết các thách thức cấp bách về an toàn AI, giảm thiểu thành kiến, v.v.
Đối với những người đam mê tìm kiếm sự hiểu biết sâu sắc hơn, Ôm Mặt mang lại cơ hội nhìn sâu vào phi-1.5. Chiến lược đào tạo của mô hình là một sự phát triển so với người tiền nhiệm của nó, phi-1, được làm phong phú thêm với nguồn dữ liệu mới chứa đầy các văn bản tổng hợp NLP. Mặc dù bản thân mô hình này là một cỗ máy mạnh mẽ nhưng nó lại tránh xa một số phương pháp đào tạo nhất định, chẳng hạn như làm theo hướng dẫn hoặc học tập tăng cường từ phản hồi của con người.
A báo cáo kỹ thuật được xuất bản trên ArXiv cung cấp thêm thông tin chi tiết về quá trình phát triển của mô hình. Trọng tâm là khai thác sức mạnh của lý luận thông thường trong ngôn ngữ tự nhiên. Phi-1.5, mặc dù phản ánh một số đặc điểm của LLM lớn hơn, nhưng lại mang đến những điểm mạnh độc đáo, đặc biệt là trong lĩnh vực an toàn, bằng cách cố tình bỏ qua dữ liệu web trong giai đoạn huấn luyện.
