Nvidia đã giới thiệu Jetson Orin Nano Super Developer Kit, một nền tảng AI hiệu suất cao giúp tăng 70% tốc độ suy luận AI tổng hợp đồng thời tăng gấp đôi băng thông bộ nhớ so với phiên bản tiền nhiệm.
Có giá $249, bộ sản phẩm này cung cấp cho các nhà phát triển, nhà nghiên cứu và sinh viên một công cụ tiết kiệm chi phí để xây dựng và triển khai các ứng dụng AI tiên tiến ở biên.
Bộ siêu nhà phát triển NVIDIA Jetson Orin Nano là một bo mạch AI biên nhỏ gọn được thiết kế để tạo cấp độ cơ bản Các thiết bị hỗ trợ AI như robot, máy bay không người lái và máy ảnh thông minh.
Đó là Sự kết hợp giữa hiệu suất phần cứng được cải thiện và các tính năng tối ưu hóa phần mềm tương thích ngược đã định vị nó như một giải pháp hấp dẫn cho chế tạo robot, thị giác máy tính và khối lượng công việc AI tạo ra theo thời gian thực—những lĩnh vực mà sức mạnh tính toán phải đáp ứng các hạn chế về năng lượng và không gian.
So sánh cấu hình của Bộ công cụ dành cho nhà phát triển Jetson Orin Nano Super
Tăng hiệu suất AI với giá cả phải chăng cho điện toán biên
Jetson Orin Nano Super được xây dựng trên kiến trúc GPU Ampere của Nvidia, có là nền tảng cho các dịch vụ AI của mình trên các trung tâm dữ liệu, đám mây và giờ là điện toán biên. Bộ công cụ dành cho nhà phát triển có Jetson Orin Nano 8GB hệ thống trên mô-đun (SoM) và mang lại hiệu quả nâng cao cho các tác vụ như mô hình dựa trên máy biến áp, mô hình ngôn ngữ và mô phỏng robot.
Nvidia báo cáo hiệu suất suy luận AI tổng hợp đã tăng 1,7 lần. có thể bằng cách nâng cấp phần cứng và tối ưu hóa phần mềm. Đáng chú ý, hệ thống mới đạt được hiệu năng tính toán thưa thớt 67 TOPS (hàng nghìn tỷ phép tính mỗi giây)—tăng từ 40 TOPS trong dòng Orin Nano trước đó—và tăng băng thông bộ nhớ lên 102GB/s, một bước nhảy vọt đáng kể so với 68GB/s trước đó.
Theo Nvidia, bộ công cụ dành cho nhà phát triển vẫn giữ nguyên kiểu dáng nhỏ gọn trong khi mang lại hiệu quả cao hơn. Deepu Talla, Phó Chủ tịch phụ trách Điện toán biên và Nhúng của Nvidia, lưu ý tác động của bản nâng cấp và nói: “Giống như chúng tôi đã lấy Orin Nano và trao cho nó một chiếc áo choàng siêu anh hùng”.
Những cải tiến này trao quyền cho các nhà phát triển xử lý AI các tác vụ trước đây chỉ giới hạn ở các hệ thống đám mây, chẳng hạn như chạy các mô hình ngôn ngữ lớn (LLM) nhỏ gọn như Llama-3.1 và Gemma-2. Bằng cách cho phép các mô hình nhỏ hơn, được tối ưu hóa chạy cục bộ, Jetson Orin Nano Super giảm sự phụ thuộc vào tài nguyên đám mây. và độ trễ—rất quan trọng đối với robot, máy tự động và các ứng dụng thời gian thực khác.
[nội dung nhúng]
Bản cập nhật phần mềm giúp tăng hiệu suất cho các thiết bị hiện có
Cùng với việc phát hành phần cứng, Nvidia đã giới thiệu bản cập nhật JetPack SDK mang lại lợi ích cho toàn bộ dòng Jetson Orin, bao gồm cả các mẫu Orin Nano và NX cũ hơn Bản cập nhật này mở khóa Chế độ siêu, cài đặt công suất cao hơn giúp tăng tần số xung nhịp GPU và CPU để cải thiện hiệu suất.
Nhà phát triển có thể kích hoạt Chế độ siêu bằng cách sử dụng công cụ Bộ chọn chế độ nguồn của Nvidia, có thể truy cập thông qua dòng lệnh hoặc giao diện đồ họa. Với tính năng này, phần cứng hiện có có thể đạt được mức tăng hiệu suất tương tự như Jetson Orin Nano Super mà không cần đầu tư thêm.
Bằng cách đảm bảo tính tương đương của phần mềm trên dòng Orin của mình, Nvidia tối đa hóa vòng đời và giá trị của các nền tảng AI biên của mình, khiến giúp các nhà phát triển mở rộng quy mô dự án của họ dễ dàng hơn.
Ứng dụng trong thế giới thực: Robot, Mô hình thị giác và AI sáng tạo
Jetson Orin Nano Super của Nvidia chính là mục đích-được xây dựng cho cạnh các ứng dụng yêu cầu xử lý AI hiệu quả. Các lĩnh vực trọng tâm chính bao gồm robot, thị giác máy tính và AI tổng hợp:
Trong robot, Nvidia’s Nền tảng Isaac cung cấp các công cụ mô phỏng và tạo dữ liệu tổng hợp để tăng tốc độ phát triển. Ví dụ: Isaac Sim cho phép các nhà phát triển tạo nguyên mẫu hệ thống robot trong môi trường ảo trước khi triển khai chúng trong thế giới thực. Tương tự, Omniverse Replicator của Nvidia tạo điều kiện thuận lợi cho việc tạo dữ liệu tổng hợp chất lượng cao để đào tạo các mô hình AI.
Đối với thị giác máy tính, Jetson Orin Nano Super hỗ trợ các mô hình dựa trên máy biến áp như Mô hình biến áp thị giác tự giám sát DINOv2 của Meta và CLIP, giúp cải thiện độ chính xác cho nhận dạng, phân loại hình ảnh và nhiệm vụ phát hiện đối tượng.
Các mô hình này cho phép hệ thống phân tích luồng hình ảnh và video có độ phân giải cao với hiệu quả cao hơn, khiến thiết bị trở nên lý tưởng cho các ứng dụng như kiểm soát chất lượng tự động, giám sát và điều hướng tự động.
Khối lượng công việc AI tổng hợp cũng được hưởng lợi từ khả năng của nền tảng. Bằng cách chạy cục bộ các LLM nhỏ gọn—chẳng hạn như Llama-3.1 8B hoặc Gemma-2 — nhà phát triển có thể triển khai các ứng dụng như chatbot thế hệ tăng cường truy xuất (RAG) hoặc tóm tắt nội dung theo thời gian thực.
Sự kết hợp giữa độ trễ thấp và mức tiêu thụ điện năng giảm khiến Jetson Orin Nano Super rất phù hợp với các môi trường biên nơi mà băng thông và khả năng truy cập đám mây bị hạn chế.
Hệ sinh thái dành cho nhà phát triển và Long-Hỗ trợ có thời hạn
Nvidia cho biết họ cam kết hỗ trợ cộng đồng Jetson thông qua các nguồn lực và công cụ toàn diện. Phòng thí nghiệm AI Jetson cung cấp cho các nhà phát triển các bộ chứa dựng sẵn, hướng dẫn triển khai và hướng dẫn triển khai các mô hình AI. Các ví dụ bao gồm việc tích hợp Ollama để triển khai chatbot và tận dụng các khung từ Hugging Face, Google, Microsoft và Meta.
Bộ công cụ dành cho nhà phát triển cũng có tính năng hỗ trợ tối đa bốn camera, cho phép xử lý nhiều luồng cho các tác vụ dựa trên tầm nhìn—rất quan trọng đối với robot và hệ thống tự động.
Để đảm bảo sự ổn định lâu dài, Nvidia đã kéo dài vòng đời sản phẩm Jetson Orin đến năm 2032 , giúp các nhà phát triển và doanh nghiệp tin tưởng vào tính sẵn sàng của nền tảng cho việc triển khai trong tương lai.
Một bước tiến cho Edge AI
Với Jetson Orin Nano Super, Nvidia kết hợp hiệu suất AI được cải thiện với khả năng chi trả, giải quyết các nhu cầu ngày càng tăng về tính toán thời gian thực trên thiết bị. Khả năng của nền tảng này trong việc chạy các mô hình AI tổng hợp nhỏ gọn, xử lý hình ảnh có độ phân giải cao và tăng tốc độ phát triển robot khiến nền tảng này trở thành công cụ thiết yếu cho các nhà phát triển làm việc trên các giải pháp biên.
Bằng cách cung cấp các cải tiến phần cứng cùng với các tối ưu hóa phần mềm áp dụng cho các giải pháp hiện có thiết bị, Nvidia đã tạo ra một hệ sinh thái mạnh mẽ để phát triển AI biên.
