該公司週二宣布,Microsoft正在將OpenAI強大的新型GPT-Oss車型帶到本地PC上,以大力推動在設備上的人工智能上。 The move leverages a new platform, Azure AI Foundry Local, to allow developers to run advanced AI directly on Windows devices, even offline and without an Azure subscription.
This倡議旨在通過在本地而不是在雲中處理數據來創建更多私人,響應和安全的AI應用程序。它標誌著使復雜的AI工具廣泛使用並將窗戶定位為下一波AI開發的關鍵平台,這是一個重要的一步src=“ https://winbuzzer.com/wp-content/uploads/2024/2024/11/azure-ai-foundry.-findry.-fcial.jpg”>
azure ai ai ai ai ai ai ai for for device推論
azure ai ai ai ai ai ai ai for for device推論
href=“ https://learn.microsoft.com/en-us/azure/ai-foundry/foundry/foundry-local” target=“ _ black”> Windows和macOS的on-device推理平台。它使高級AI模型能夠直接在用戶硬件上運行,這是與以雲為中心的模型的重大不同,該模型主導了AI景觀。 The platform is currently available in public preview, allowing developers to begin experimenting immediately.
The platform’s key advantage is its ability to function offline, enhancing privacy and security by keeping sensitive data on-device.這種方法解決了延遲問題,使AI互動更快。至關重要的是,開發人員可以在無藍色訂閱的情況下使用本地鑄造廠,降低實驗和小尺度部署的障礙
優化跨多種硬件的模型性能,包括CPU,GPU和NPU,以及來自Intel,Amd,amd,amd,amd,nvidia,nvidia和Qualcomm和Qualcomm和Qualcomm和Qualcomm和Qualcomm和Qualcomm和Qualcomm和Qualcomm and Qualcomm and ya>。它還提供了一個openai-compatible api,cli,a cli,a cli,a sdk,sdk,sdk in sde shhas in n offeration功能。 “ Foundry Local將這些型號帶到了窗口中,可以在CPU,GPU和NPU上提供低延遲,安全,離線推理。這具有完整的微調和編排支持。”該位置是本地鑄造的位置,不僅是一個運行時的環境,而且作為設備AI的成熟開發工具包。
操作的大腦:OpenAI的GPT-Soss Models
Foundry Local將支持Openai紐約市新發布的gpt-oss-oss-oss-20b-20b’gpt-20b` gpt-oss-oss-oss-oss-oss-oss-s-s-1020b-oss-10bs-1020b。該模型可在允許的Apache 2.0許可下獲得,鼓勵廣泛採用和修改。
。使用與gpt-4類系統可比的性能。兩者都是建立在有效的專家(MOE)體系結構上的,該體系結構僅激活任何給定任務的模型參數的一小部分,在最大程度地減少計算成本的同時最大程度地提高了計算成本。
此舉解決了OpenAI投資組合中的長期差距。 OpenAI的研究計劃經理Casey Dvorak解釋了理由:“由於沒有Openai的[競爭]開放模型,我們希望堵塞這一差距,並實際上允許他們全面使用我們的技術。”這使得公司可以競爭為安全,成本或自定義原因需要本地運行模型的開發人員。
一個關鍵的技術要求是“和諧”,這是“gpt-oss”的一種新的和強制性的聊天格式。 This template structures the model’s output into separate channels for reasoning (`analysis`), tool calls (`commentary`), and the final answer, giving developers more transparent control over agentic workflows.
A Strategic Alliance in the On-Device AI Race
Microsoft’s announcement is part of a broader, coordinated launch for `gpt-oss` that spans技術生態系統。這個行業範圍的擁抱強調了Openai重返開源社區的重要性及其為AI開發設定新標準的雄心。
其他主要合作夥伴包括高通公司,該合作夥伴包括Qualcomm,該合作夥伴宣布“GPT-OSS-20B 20B模型都可以在其Snapdragon-Powed PCS上本地運行。 This hardware enablement is crucial for bringing on-device AI to high-performance laptops, though it currently requires a hefty 24GB of RAM, placing it firmly in the developer-grade hardware category for now.
Simultaneously, AWS revealed a landmark partnership to bring the `gpt-oss` models to its cloud platform through Amazon Bedrock and SageMaker, diversifying OpenAI’s distribution超越與微軟的緊密聯繫。這產生了“合作”的動態,擴大了Openai的影響力,同時加強了雲AI競爭。
這種多重溝通的策略似乎旨在在開源世界中獲得影響。正如普林斯頓大學助理教授彼得·亨德森(Peter Henderson)指出的那樣,“部分是關於重新確定Openai在研究生態系統中的主導地位。” Openai本身以地緣政治術語來構建了該版本,並指出:“在美國創建的這些有能力的開放權重模型有助於擴展民主AI Rails。”
通過使其模型功能強大,可訪問並得到從Cloud到Edge的強大生態系統的支持,OpenAI為其平台提供了令人信服的案例。這項協調的努力旨在建立“ GPT-oss”和Harmony格式作為下一代AI開發的新標準。