Qualcomm dan OpenAI mengumumkan langkah utama untuk peranti AI pada hari Selasa, mencerminkan industri yang lebih luas ke arah pemprosesan di tepi. Model `GPT-OSS-20B` yang baru dari OpenAI kini boleh berjalan secara tempatan pada PC mewah dengan cip snapdragon. Ini adalah kali pertama salah satu model pemikiran maju OpenAI telah disediakan untuk kegunaan peranti.
Matlamatnya adalah untuk mencipta pengalaman AI yang lebih cepat dan lebih peribadi dengan mengendalikan data secara tempatan. Buat masa ini, teknologi ini bertujuan untuk pemaju menggunakan PCS dengan 24GB RAM, Melaksanakan kesimpulan secara langsung pada peranti yang dikuasakan oleh pemproses snapdragon yang pertama . Pembuat chip itu memuji pembangunan itu sebagai”peristiwa penting”dan”titik perubahan,”yang membawa keupayaan pemikiran yang canggih dan canggih terbuka dari awan dan ke perkakasan tempatan untuk kali pertama. Ini membolehkan tugas-tugas yang kompleks, pelbagai langkah diproses secara tempatan, satu langkah kritikal ke arah mewujudkan pembantu AI yang benar-benar peribadi. Akses awal Qualcomm ke model. Syarikat itu melakukan ujian integrasi yang luas, memanfaatkan proprietari Qualcomm Ai Stack Untuk mengoptimumkan model 20-bilion-parameter untuk pelaksanaan on-device yang cekap. Kerja ini menunjukkan apa yang disebut Qualcomm sebagai”kematangan ekosistem AI,”di mana inovasi sumber terbuka dapat dimanfaatkan dengan cepat oleh rakan-rakan perkakasan. Komuniti sumber terbuka dan pesaing kaunter. Dengan membuat model yang terdapat di bawah lesen Apache 2.0 permisif, OpenAI menggalakkan penggunaan yang meluas dan menyediakan pemaju dengan alat yang kuat dan telus. Kesan Pengguna: Bukan untuk telefon pintar semasa anda. Sebagai satu laporan secara terang-terangan meletakkannya, jangan tahan nafas anda untuk berjalan di cip telefon anda. Integrasi ini secara khusus mensasarkan perkakasan gred pemaju, terutamanya PC berkuasa Snapdragon dan kit pembangunan khusus. Fokus ini ditujukan tepat kepada penyelidik AI dan pemaju perusahaan yang ingin membina aplikasi tersuai pada perkakasan yang berkuasa, tempatan, dan bukannya pengguna Android purata.
Penghalang utama adalah keperluan sumber besar model. Running `GPT-OSS-20B’secara tempatan melalui integrasi Qualcomm menuntut 24GB RAM yang besar, spesifikasi yang jauh melebihi kapasiti peranti mudah alih pengguna hari ini, yang biasanya keluar pada 12GB atau 16GB. Prasyarat perkakasan ini tegas memposisikan teknologi dalam bidang PCS mewah dan stesen kerja profesional buat masa ini, terutamanya yang menjalankan chipset Snapdragon X Elite. Dalam pengumuman rasminya, syarikat itu menyatakan,”Kami percaya bahawa keupayaan AI pada peranti akan meningkat dengan pesat, membuka pintu kepada pengalaman swasta, latensi rendah, yang diperibadikan.”Ini menunjukkan pelan hala tuju jangka panjang di mana, sebagai
Akhirnya, manfaat ini berkumpul untuk membolehkan agen AI yang sangat diperibadikan yang dapat melengkapkan penyelesaian awan. Ejen pada peranti boleh mengakses dan alasan dengan selamat ke atas e-mel peribadi, kalendar, dan kenalan pengguna untuk memberikan bantuan kontekstual, semua tanpa data yang pernah meninggalkan peranti itu. Untuk menjadikan ini realiti untuk pemaju, Qualcomm menekankan bahawa model itu boleh diakses melalui platform yang popular. href=”https://ollama.com/library/gpt-oss:20b”target=”_ blank”> rangka kerja seperti ollama Kejayaan pada peranti ini secara intrinsik dikaitkan dengan pelukan terbuka dunia sumber terbuka. Pelepasan `gpt-oss` adalah tindak balas langsung kepada tahun kritikan terhadap pendekatan tertutupnya dan langkah strategik untuk menentang pesaing seperti meta dan firma teknologi Cina. Untuk memastikan konsistensi, Openai juga melancarkan’Harmony,’format sembang wajib untuk `GPT-OSS`. Ia membentuk perbualan ke dalam saluran yang berbeza untuk penggunaan penalaran dan alat, memberikan pemaju kawalan berbutir. Sentimen ini disuarakan oleh pemimpin komuniti, dengan Nathan Lambert dari Institut Allen untuk AI memuji langkah itu, berkata,”Ini adalah perkara yang sangat baik untuk komuniti terbuka.”