Nvidia 推出了Jetson Orin Nano 超級開發套件,這是一個高效能AI 平台,與前身相比,生成式AI 推理速度提高了70%,同時記憶體頻寬增加了一倍。 >定價為249 美元 ,該套件為開發人員提供, NVIDIA Jetson Orin Nano 超級開發套件是一款緊湊型邊緣 AI 板,專為創建入門級 AI 驅動而設計機器人、無人機、智慧攝影機等設備。 src=”https://winbuzzer.com/wp-content/uploads/2024/12/Jetson-Orin-Nano-Super-Developer-Kit-Jensen-Huang-official-Nvidia-scaled.jpg”>

它結合了改進的硬體性能和向後相容的軟體優化,使其成為機器人、電腦視覺和即時生成AI 工作負載(這些領域)極具吸引力的解決方案。 p>

Jetson Orin Nano 超級開發套件配置比較

NVIDIA Jetson Orin Nano 開發套件
(原文)NVIDIA Jetson Orin Nano 超級開發套件GPUNVIDIA Ampere 架構

1,024 個CUDA 核心

32 個Tensor 核心

635 MHz

NVIDIA Ampere 架構

1,024 個CUDA 核心

32 個Tensor 核心

1,020 MHz

AI 效能40 INT8 TOPS(稀疏)

20 INT8 TOPS(密集)

10 FP16 TFLOPs

67 TOPS (稀疏)

33 TOPS(密集)

17 FP16 TFLOPs

CPU6 核Arm Cortex-A78AE v8.2 64 位元CPU

1.5 GHz

6 核心Arm Cortex-A78AE v8.2 64 位元CPU

1.7 GHz

記憶體8GB 128 位元LPDDR5

68 GB/秒

8GB 128 位元LPDDR5

102 GB/秒

模組功率7W | 15W7W| 15W| 25W

為邊緣運算帶來經濟實惠的人工智慧效能提升

Jetson Orin Nano Super 基於Nvidia 的Ampere GPU架構構建,該架構具有一直是其跨資料中心、雲端和現在的邊緣運算的人工智慧產品的基石。本開發套件採用Jetson Orin Nano 8GB 模組系統 (SoM) 並提高了基於Transformer 的模型、語言模型和機器人模擬等任務的效率。值得注意的是,新系統實現了67 TOPS(每秒萬億次操作)稀疏運算效能(高於先前Orin Nano 系列的40 TOPS),並將記憶體頻寬增加到102GB/s,比早期的68GB/s顯著飛躍。 Nvidia 嵌入式和邊緣運算副總裁 Deepu Talla 指出了升級的影響,他說:「這就像我們為 Orin Nano 賦予了超級英雄斗篷。」

這些改進使開發人員能夠處理 AI以前僅限於雲端系統的任務,例如運行Llama-3.1 和Gemma-2 等緊湊型大型語言模型(LLM) 透過支援較小的最佳化模型在本地運行,Jetson Orin Nano Super 減少了對雲端資源和延遲的依賴(這一點至關重要)。 >

與硬體版本一起發布,Nvidia 推出了JetPack SDK 更新,該更新使整個Jetson Orin 系列受益,包括舊的Orin Nano 和NX 型號。選擇器工具啟動超級模式,該工具可透過命令列或圖形介面存取。借助此功能,現有硬體無需額外投資即可實現與Jetson Orin Nano Super 類似的性能提升。的生命週期和價值,從而使開發人員更容易擴展他們的專案。的Jetson Orin Nano Super 的目的-專為需要高效人工智能處理的邊緣應用而構建。主要關注領域包括機器人、電腦視覺和生成人工智慧:

機器人中,Nvidia的Isaac 平台提供模擬工具和合成資料產生來加速開發。例如,Isaac Sim 使開發人員能夠在虛擬環境中對機器人系統進行原型設計,然後再部署到現實世界中。同樣,Nvidia 的Omniverse Replicator 有助於創建用於訓練AI 模型的高品質合成資料。 Meta 的 DINOv2 自監督視覺變換器模型和 CLIP,可提高影像辨識、分類和目標偵測任務。/p>

生成式AI 工作負載也受益於此平台的功能。透過在本地運行緊湊型LLM,例如Llama-3.1 8B 或Google 的Gemma-2 — 開發人員可以實現檢索增強生成 (RAG) 聊天機器人或即時內容摘要等應用程式。

低延遲和降低功耗的結合使 Jetson Orin Nano Super 非常適合頻寬和雲端存取受限的邊緣環境。期限支持

Nvidia 表示致力於透過全面的資源和工具來支持Jetson 社群。 Jetson AI 實驗室為開發人員提供預先建置的容器、部署指南以及實作 AI 模型的教學課程。例如整合 Ollama 進行聊天機器人部署以及利用 Hugging Face、Google、Microsoft 和 Meta 的框架。支援多達四個攝影機,支援基於視覺的任務的多流處理,這對於機器人和自主系統至關重要。年,讓開發人員和企業對平台未來部署的可用性充滿信心。將以經濟實惠的方式提高了人工智慧效能,滿足了對即時設備上運算日益增長的需求。該平台能夠運行緊湊的生成式人工智慧模型、處理高解析度影像並加速機器人開發,這使其成為開發邊緣解決方案的開發人員的必備工具。有技術的硬體改進和軟體優化,設備,Nvidia 為邊緣人工智慧開發創建了一個強大的生態系統。

Categories: IT Info