Qualcomm và Openai đã công bố một bước quan trọng cho AI trên thiết bị vào thứ ba, phản ánh một sự thúc đẩy của ngành công nghiệp rộng lớn hơn đối với việc xử lý ở rìa. Mô hình `gpt-oss-20b` mới từ Openai hiện có thể chạy cục bộ trên các PC cao cấp với chip Snapdragon. Đây là lần đầu tiên một trong những mô hình lý luận nâng cao của Openai đã được cung cấp để sử dụng trên thiết bị. Hiện tại, công nghệ này nhằm vào các nhà phát triển sử dụng PCS với 24GB RAM, thực hiện suy luận trực tiếp trên các thiết bị được cung cấp bởi bộ xử lý Snapdragon hàng đầu của nó . Nhà sản xuất chip đã ca ngợi sự phát triển như một cột mốc quan trọng của người Hồi giáo”và một bước ngoặt của người Hồi giáo,”đưa các khả năng lý luận tinh vi, suy nghĩ tinh tế của Openai ra khỏi đám mây và lần đầu tiên vào phần cứng địa phương. Điều này cho phép các nhiệm vụ phức tạp, nhiều bước được xử lý cục bộ, một bước quan trọng để tạo ra các trợ lý AI thực sự cá nhân. Qualcomm sớm truy cập vào mô hình. Công ty đã thực hiện thử nghiệm tích hợp rộng rãi, tận dụng độc quyền của mình Qualcomm AI Stack Để tối ưu hóa mô hình 20 tỷ-parameter để thực hiện hiệu quả. Công việc này cho thấy những gì Qualcomm gọi là sự trưởng thành của hệ sinh thái AI”, trong đó sự đổi mới nguồn mở có thể được khai thác nhanh chóng bởi các đối tác phần cứng. Cộng đồng nguồn mở và đối thủ phản công. Bằng cách cung cấp các mô hình theo giấy phép Apache 2.0 cho phép, OpenAI đang khuyến khích việc áp dụng rộng rãi và cung cấp cho các nhà phát triển các công cụ mạnh mẽ, minh bạch. Nó không dành cho điện thoại thông minh hiện tại của bạn. Như một báo cáo thẳng thừng nói, don don nín thở cho bạn để chạy trên chip điện thoại của bạn. Việc tích hợp đặc biệt nhắm mục tiêu phần cứng cấp phát triển, chủ yếu là PC do Snapdragon hỗ trợ và bộ dụng cụ phát triển chuyên dụng. Trọng tâm này nhằm mục đích thẳng thắn vào các nhà nghiên cứu AI và các nhà phát triển doanh nghiệp đang tìm cách xây dựng các ứng dụng tùy chỉnh trên phần cứng địa phương, mạnh mẽ, thay vì người dùng Android trung bình. Chạy `gpt-oss-20b` cục bộ thông qua tích hợp Qualcomm đòi hỏi 24GB RAM đáng kể, một đặc điểm kỹ thuật vượt xa khả năng của các thiết bị di động tiêu dùng ngày nay, thường đứng đầu ở mức 12GB hoặc 16GB. Điều kiện tiên quyết phần cứng này định vị vững chắc công nghệ trong lĩnh vực của PC cao cấp và máy trạm chuyên nghiệp, đặc biệt là những người chạy Chipset Snapdragon X Elite. Trong thông báo chính thức của mình, công ty tuyên bố, chúng tôi tin rằng khả năng AI trên thiết bị sẽ tăng nhanh, mở ra cánh cửa cho các trải nghiệm đại lý tư nhân, có độ trễ thấp, cá nhân hóa.”Điều này cho thấy một lộ trình dài hạn trong đó, như Các khung như Ollama , một khung bảo dưỡng hạng nhẹ, để chạy `
Bản chất trên thiết bị này được liên kết với Openai, những cái ôm mới của thế giới nguồn mở. Bản phát hành `gpt-oss` là một phản ứng trực tiếp đối với nhiều năm chỉ trích về cách tiếp cận khép kín của nó và một động thái chiến lược để chống lại các đối thủ như meta và các công ty công nghệ Trung Quốc.
Để đảm bảo tính nhất quán, OpenAI cũng ra mắt ‘Harmony, một định dạng trò chuyện bắt buộc cho` gpt-oss`. Nó cấu trúc các cuộc hội thoại vào các kênh riêng biệt để sử dụng lý luận và sử dụng công cụ, cung cấp cho các nhà phát triển kiểm soát chi tiết. Tình cảm này được lặp lại bởi các nhà lãnh đạo cộng đồng, với Nathan Lambert của Viện Allen để ca ngợi động thái này, nói rằng, đó là một điều rất tốt cho cộng đồng mở.”