高通公司和Openai在周二宣布了對設備的AI的重要一步，這反映了更廣泛的行業在邊緣進行處理。現在，來自OpenAI的新的gpt-oss-20b`型號現在可以在帶有Snapdragon芯片的高端PC上在本地運行。這是Openai的高級推理模型之一，用於現實使用。
目標是通過在本地處理數據來創建更快，更私人的AI體驗。目前，這項技術旨在使用具有24GB RAM的PC，
A Milestone for On-Device AI, With a Catch
In a significant move for the AI industry, Qualcomm revealed that OpenAI’s newly released `gpt-oss-20b` model can 直接在其旗艦Snapragy處理器啟動的設備上執行推斷。這位芯片製造商稱這項開發是一個“重大里程碑”和“轉折點”，將Openai的精緻，經過深思熟慮的推理能力從雲中脫穎而出，並首次進入本地硬件。 This allows for complex, multi-step tasks to be processed locally, a critical step toward creating truly personal AI assistants.
The achievement was made possible through a close collaboration that gave高通早期訪問該模型。該公司進行了廣泛的集成測試，並利用其專有 Qualcomm ai stack 以優化20億參數模型，以有效地執行。這項工作展示了高通公司所說的“ AI生態系統的成熟度”，在這裡可以通過硬件合作夥伴迅速利用開源創新。
本公告是Openai更廣泛的戰略息肉的關鍵部分，以更廣泛的戰略性重點回到開放性模型，這是自2019年以來的首次播放，包括較大的範圍。開源社區和反對手。通過使允許的Apache 2.0許可下的模型可用，OpenAI正在鼓勵廣泛採用，並為開發人員提供強大的，透明的工具。
精美的印刷品:精美的印刷品:Snapdragon PC，而不是智能手機（目前）
，新聞產生了興奮的興奮性，而興奮的是，該興奮的能力是一種興奮的範圍。它不適合您當前的智能手機。正如一份報告直言不諱的那樣，不要屏住呼吸，以便在手機的芯片上運行。集成專門針對開發人員級硬件，主要是Snapdragon驅動的PC和專用開發套件。該重點是針對AI研究人員和企業開發人員，希望在功能強大的本地硬件上構建自定義應用程序，而不是普通的Android用戶。
主要障礙是該模型的大量資源要求。通過高通集成在本地運行`gpt-oss-20b`需要24GB的RAM，這一規範遠遠超出了當今消費者移動設備的容量，通常以12GB或16GB為頂。此硬件先決條件暫時將技術牢固地定位在高端PC和專業工作站的領域中，尤其是那些運行Snapdragon X Elite芯片組的技術。
高等法院對這一限制是透明的，可以構成對個人計算未來的戰略概況。該公司在正式公告中表示:“我們認為，在設備上的AI能力將迅速增加，為私人，低延遲，個性化的代理經驗打開了大門。”這暗示了一個長期路線圖，在其中，
為什麼要設備問題:隱私，速度和個性化
戰略性的推動力AI的戰略性推動，遠見是長期以來一直擁護的，由三個清晰和引人注目的用戶效益驅動:隱私，速度和個性化。通過消除將敏感信息發送到雲的需要，從根本上講，從本地處理數據從根本上改變了安全方程。這意味著可以在沒有Internet連接的情況下離線完成任務，並且用戶數據仍在設備上牢固地保留，這對於個人和企業應用程序都是至關重要的個人和企業應用程序的關鍵優勢。
此本地處理能力也直接解決了潛伏期的問題。通過將往返往返數據中心刪除，交互變得更快，響應速度更快。正如一個報告所指出的那樣，如果互聯網連接足夠好，這可能意味著更快的響應，並且不會延遲。這對於創造高級AI助手期望的無縫實時對話體驗至關重要。立即執行複雜的推理任務而沒有滯後的能力是使AI感到真正的整合和樂於助人的基石。
最終，這些好處會融合，以啟用可以補充雲解決方案的高度個性化的AI代理。設備代理可以通過用戶的私人電子郵件，日曆和聯繫方式安全訪問和推理，以提供上下文幫助，而無需該數據離開設備。為了使開發人員成為現實，高通強調了該模型可以通過流行的平台訪問。
開發人員可以從像Ollama這樣的框架，一個輕巧的服務框架，可以在Snapdragon平台上直接運行`gpt-oss-20b`20B`20B 這個設備的里程碑與Openai對開源世界的重新擁抱的本質聯繫。 “GPT-oss”發行是對多年對其封閉方法的批評的直接反應，並採取了反對競爭對手等競爭對手的戰略性，
OpenAi也以地緣政治術語來構成了發行的批評，並指出“在美國創造的這些有能力的開放式模型可以擴展<民主airair ai grabil ai grabil ai n of a in air n of per air a per air n of a per air a per air n of a in air n of a pilt>一致性，Openai還推出了“ Harmony”，這是“GPT-oss”的強制性聊天格式。它將對話結構為推理和工具使用的不同渠道，從而為開發人員提供了顆粒狀的控制。社區領導人對此情緒表示贊同，艾倫AI研究所的內森·蘭伯特（Nathan Lambert）讚揚了這一舉動，他說:“對開放的社區來說，這是一件非常好的事情。 ”
。