透明性への画期的な動きで、GoogleはAIモデルの環境コストに関する最初の詳細なデータをリリースしました。木曜日に公開されたGoogleのテクニカルペーパータスク。
何年もの間、生成AIの真のエネルギーコストは、激しい憶測と議論の対象となってきました。この開示は、エネルギーと水に対する技術の貪欲な食欲を定量化するために大きな技術に圧力をかけることの中でもたらされます。 （WH）エネルギー、0.03グラムのCO2等価（GCO2E）を放出し、0.26ミリリットルの水を使用します。ブログ。
会社は非常に少ない量として、マイクロウェーブを走るのに同等です。 Googleのチーフサイエンティストであるジェフディーンは、日常生活への最小限の影響を強調し、「…テレビを数秒見たり、5滴の水を消費するなど、毎日考えずに、実際にやることと同等です。」
<「包括的な」または「フルスタック」方法論。このアプローチは、一貫した基準を確立し、現実世界の生産システムの総エネルギー抽選をキャプチャする意図的な試みです。それは、多くの場合、アクティブなAIアクセラレータチップのみに焦点を当てた単純なベンチマークを超えて移動します。 技術論文規模の順序。
同社の方法論は、ジェミニのようなグローバル製品にサービスを提供するという運用上の現実を反映するように設計されています。高可用性と低遅延を確保するには、かなりの量の容量をプロビジョニングしますが、アイドル状態で、トラフィックスパイクやフェイルオーバーを処理する準備ができている必要があります。この現実世界の運用コストは、ホストCPUおよび一般的なデータセンターオーバーヘッドの力とともに、学術またはサードパーティの推定から除外されることがよくあります。 Googleは、これらのより狭いビューは呼ばれるものを表していると主張しています明らかに。アクティブAIアクセラレーター（GoogleのTPU）は、総エネルギーのわずか58％を占めています。必要なホストマシンのCPUとメモリは、さらに24％に貢献しています。プロビジョニングされたアイドルマシンによって消費されるエネルギーは、合計に10％の大幅な追加を追加します。最後に、8％は、冷却や電力変換などのデータセンターのオーバーヘッドから得られます。これは、業界標準の電力使用率（PUE）メトリックによってキャプチャされる要因です。この包括的な境界の影響は大きなものです。 Googleは、公式0.24 WHの数値を生成しますが、より限られたアプローチを使用した場合（最も効率的なデータセンターでアクティブなAIチップのみを測定する場合、結果はプロンプトあたりわずか0.10 WHになると述べています。この2.4倍の差は、信頼できるサービスに必要な本質的なサポートインフラストラクチャによって消費されるエネルギーの量を強調しています。
サステナビリティブログ、同社は2024年5月から5月の5月の間に、geminiのエネルギー消費が33。関連する二酸化炭素排出量はさらに44倍に低下しました。
これらの驚異的な改善は、単一のブレークスルーの結果ではなく、Googleが「AI開発へのフルスタックアプローチ”会社の
モデルレベルでは、GoogleはExpertsの混合物（MOE）などのより効率的なアーキテクチャを指します。この手法により、システムは、特定のクエリの大規模モデルの小さな関連するサブセットのみをアクティブにすることができ、計算を10〜100倍に削減します。投機的なデコードや蒸留などの他のソフトウェア技術は、Geminiフラッシュのような小さくて最適化されたモデルを作成し、計算負荷をさらに削減します。同社は、ワットあたりのパフォーマンスを最大化するためにAIモデルと共同設計されたカスタム設計のテンソル処理ユニット（TPU）を強調しています。 Googleによると、最新世代の「Ironwood」TPUは、最初の公開バージョンの30倍のエネルギー効率であり、効率的な取り組みの強力なハードウェア基盤を提供します。 最後に、システムレベルの最適化が重要な役割を果たします。 Googleのサービングスタックでは、高度なMLソフトウェアスタックと動的なほぼリアルタイムモデルの配置を使用して、大規模な展開における無駄なエネルギーの重要なソースであるアクセラレータのアイドリングを最小限に抑えます。モデルアーキテクチャからシリコンまで、これらのイノベーションのレイヤーは、ジェミニの環境への影響の劇的な前年比の減少に集合的に貢献しています。ミシガン大学のML.エネルギーの努力のリーダーであるジェウォン・チョンは、MITテクノロジーレビューに、「これはAIエネルギー分野のキーストーン作品になると思う。これまでのところ最も包括的な分析だ。」 しかし、開示には批評家と限界がないわけではない。不足している重要な情報は、Geminiが毎日処理するクエリの総数です。これがないと、サービスの総エネルギー需要の計算は不可能のままです。 さらに、プロンプトあたり0.03 GCO2EのGoogleの二酸化炭素排出量は、「市場ベースの」会計に依存しています。同社がフットプリントから再生可能エネルギーの購入を差し引くことを可能にするこの方法は、競合のポイントでした。 この会計方法は、Googleの年次環境レポートに続くKairosフェローシップのようなグループによって以前に批判されていました。主任研究者のフランツ・レッセルは、「市場ベースの排出量は、汚染者の環境への実際の影響を曖昧にする企業に優しい指標である」と主張した。この議論は、企業気候会計の複雑でしばしば政治的な性質を強調しています。 透明性の動きは、業界全体の権力のスクランブルに対して設定されています。 AIのエネルギー需要がエスカレートするにつれて、ハイテクジャイアンツは、水力発電や原子力エネルギーなどの「しっかりした」クリーンな電源に大規模な投資を行って、データセンターの安定した24時間365日の供給を確保しています。 Googleのレポートは重要なステップであり、標準化された業界全体のレポートの必要性も強調しています。 Hugging FaceのAIおよび気候研究者であるSasha Luccioniとして、