Google 推出了一種以性能為中心的全新張量處理單元（TPU）稱為v5p，旨在大幅減少訓練大型語言模型所需的時間。 v5p 以先前發布的TPU v5e 為基礎，提高了運算能力，明顯滿足了更密集的AI 工作負載的需求。
增強的效能和可擴展性
在處理 Int8 計算時，TPU v5p 以其 459 teraFLOPS 或 918 teraOPS 的強大 bfloat16 效能脫穎而出。配備 95GB 高頻寬記憶體和 2.76 TB/s 的資料傳輸速度，在效率和實用性上都超越了前代產品。 Google 的設計具有顯著的擴展潛力，多達 8,960 個 TPU v5p 單元能夠透過 600 GB/s 晶片間互連在單一 Pod 內互連。與 TPU v5e 相比，v5p 的最大簇大小增加了 35 倍，潛在 TPU v4 簇大小增加了一倍多。
[嵌入內容]
Google 計算和機器學習基礎設施部門副總裁Mark Lohmeyer 表示，該加速器可以使用OpenAI 的GPT-3 等流行語言模型，速度提高1.9 倍BF16，與TPU v4 單元相比，8 位元整數運算的潛在增益高達2.8 倍。
卓越效能需要付出代價
TPU v5p 的增強功能確實會影響成本。客戶預計每個 TPU v5p 加速器的每小時費用為 4.20 美元，而 TPU v4 的每小時費用為 3.22 美元，TPU v5e 的每小時費用僅為 1.20 美元。對於時間不是最重要因素的應用程序，Google 將v5e 定位為更具成本效益的選擇，為AI 訓練提供了更容易訪問的切入點，而無需極高的性能。
除了新的TPU v5p，Google推出了一個名為「人工智慧超級電腦」的新概念，它整合了硬體、軟體、機器學習框架和消費模型，以有效地解決人工智慧工作負載。透過優化系統內的多個變量，Google的人工智慧超級運算架構旨在消除常見的低效率和瓶頸，有望提高各種人工智慧任務的生產力。
此外，Google還展示了Gemini，這是一種擅長處理文字、圖像、視訊、音訊甚至程式碼的多模態大語言模型，預示著Google人工智慧的一個重要里程碑這些功能與TPU v5p 的推出同時進行。在AI 加速競爭激烈的環境中，Google 在TPU v5p 上的進步為開發者和企業利用人工智慧的力量帶來了新的可能性。