Sa isang landmark na paglipat patungo sa transparency, pinakawalan ng Google ang kauna-unahan na detalyadong data sa gastos sa kapaligiran ng mga modelo ng AI. Nai-publish noong Huwebes, ang Google Teknikal na papel Mga Gawain. Ang pagsisiwalat na ito ay dumating sa gitna ng pag-mount ng presyon sa malaking tech upang mabuo ang masasamang gana sa teknolohiya para sa enerhiya at tubig, na nagbibigay ng isang mahalaga, kahit na kontrolado ng kumpanya, benchmark.. Blog . Ang punong siyentipiko ng Google na si Jeff Dean, ay binigyang diin ang kaunting epekto sa pang-araw-araw na buhay, na nagsasabi,”… ito ay katumbas ng mga bagay na ginagawa mo nang hindi kahit na iniisip ito sa pang-araw-araw na batayan, tulad ng panonood ng ilang segundo ng TV o pag-ubos ng limang patak ng tubig.””Comprehensive”o”Full-Stack”na pamamaraan. Ang pamamaraang ito ay isang sadyang pagtatangka upang maitaguyod ang isang pare-pareho na pamantayan at makuha ang kabuuang draw ng enerhiya ng isang real-world na sistema ng paggawa. Ito ay gumagalaw na lampas sa pinasimpleng mga benchmark na madalas na nakatuon lamang sa aktibong AI accelerator chips, na pinagtutuunan ng kumpanya ay maaaring maligaw. Sa Teknikal na papel Order ng magnitude. Upang matiyak ang mataas na kakayahang magamit at mababang latency, ang isang makabuluhang halaga ng kapasidad ay dapat ibigay ngunit idle, handa na hawakan ang mga spike ng trapiko o mga failover. Ang real-world na gastos sa pagpapatakbo na ito, kasama ang kapangyarihan para sa mga host ng CPU at pangkalahatang sentro ng data, ay madalas na hindi kasama sa mga pagtatantya sa pang-akademiko o third-party. Nagtatalo ang Google na ang mas makitid na pananaw na ito ay kumakatawan sa tinatawag na isang optimistikong senaryo sa pinakamahusay na. Ang aktibong AI Accelerator (TPU) ng Google) ay 58% lamang ng kabuuang enerhiya. Ang kinakailangang host machine’s CPU at memorya ay nag-aambag ng isa pang 24%. Ang enerhiya na natupok ng mga ibinigay na idle machine ay nagdaragdag ng isang makabuluhang 10% sa kabuuan. Sa wakas, ang 8% ay nagmula sa data center overhead tulad ng paglamig at pag-convert ng kuryente, isang kadahilanan na nakuha ng Metric na Kagamitan sa Paggamit ng Power Effective (PUE). Ang epekto ng komprehensibong hangganan na ito ay malaki. Habang nagbubunga ito ng opisyal na 0.24 WH figure, binanggit ng Google na kung gumamit ito ng isang mas limitadong diskarte-na nagbibigay lamang ng aktibong AI chip sa pinaka mahusay na mga sentro ng data-ang resulta ay magiging isang 0.10 wh bawat prompt. Ang pagkakaiba-iba ng 2.4x ay binibigyang diin kung gaano karaming enerhiya ang natupok ng mahahalagang sumusuporta sa imprastraktura na kinakailangan para sa isang maaasahang serbisyo. Si Jeff Dean, punong siyentipiko ng Google, ay nakumpirma ang hangarin ng kumpanya, na nagsasabi,”Nais naming maging kumpleto sa lahat ng mga bagay na isinama namin.”Ang detalyadong accounting na ito ay nagpapakita na halos kalahati ng gastos ng enerhiya ng isang prompt ay nagmula sa mga system maliban sa AI processor mismo, isang kritikal na pananaw para sa pag-unawa sa totoong yapak ng kapaligiran ng AI sa scale. Sa pagpapanatili ng post sa blog Ang mga kaugnay na bakas ng carbon ay nahulog ng isang mas malaking 44-tiklop. target=”_ blangko”>”full-stack diskarte sa pag-unlad ng AI.”Ang pagbawas ng enerhiya ng 33x ay hinimok ng isang 23x na pagpapabuti mula sa mga kahusayan sa modelo at isang pagpapabuti ng 1.4x mula sa mas mahusay na paggamit ng makina. Ang pamamaraan na ito ay nagbibigay-daan sa system na maisaaktibo lamang ang isang maliit, may-katuturang subset ng isang malaking modelo para sa anumang naibigay na query, pagbabawas ng pagkalkula sa pamamagitan ng isang kadahilanan ng 10 hanggang 100. Ang iba pang mga diskarte sa software tulad ng speculative decoding at distillation, na lumilikha ng mas maliit, na-optimize na mga modelo tulad ng gemini flash, karagdagang bawasan ang computational load. Binibigyang diin ng kumpanya ang mga pasadyang dinisenyo na mga yunit ng pagproseso ng tensor (TPU), na kung saan ay dinisenyo ng mga modelo ng AI upang ma-maximize ang pagganap sa bawat watt. Ayon sa Google, ang pinakabagong henerasyon na”Ironwood”TPU ay 30 beses na mas mahusay sa enerhiya kaysa sa una nitong magagamit na bersyon ng publiko, na nagbibigay ng isang malakas na pundasyon ng hardware para sa mga pagsisikap ng kahusayan nito. Ang paglilingkod sa Google ay gumagamit ng isang advanced na ML software stack at dynamic, malapit sa real-time na paglalagay ng modelo upang mabawasan ang accelerator idling, isang makabuluhang mapagkukunan ng nasayang na enerhiya sa mga malakihang pag-deploy. Ang mga layer ng pagbabago na ito, mula sa arkitektura ng modelo hanggang sa silikon, ay sama-samang nag-aambag sa dramatikong taon-sa-taon na pagbawas sa epekto sa kapaligiran ng Gemini. Si Jae-Won Chung, isang pinuno ng pagsisikap ng ML.Energy sa University of Michigan, ay nagsabi sa MIT Technology Review na”Sa palagay ko ito ay magiging isang pangunahing bato sa larangan ng enerhiya ng AI. Ito ang pinaka-komprehensibong pagsusuri hanggang ngayon.”Ang isang pangunahing piraso ng nawawalang impormasyon ay ang kabuuang bilang ng mga query na humahawak sa Gemini araw-araw. Kung wala ito, ang pagkalkula ng pinagsama-samang demand ng enerhiya ng serbisyo ay nananatiling imposible. Ang pamamaraang ito, na nagpapahintulot sa kumpanya na ibawas ang nababago na mga pagbili ng enerhiya mula sa bakas ng paa nito, ay naging isang punto ng pagtatalo. Nagtalo ang lead researcher na si Franz Ressel,”Ang mga paglabas na nakabase sa merkado ay isang sukatan na friendly na corporate na nakakubli sa aktwal na epekto ng isang polluters sa kapaligiran.”Ang debate na ito ay binibigyang diin ang kumplikado at madalas na pampulitika na katangian ng accounting ng klima ng korporasyon. Habang hinihiling ng enerhiya ng AI, ang mga higanteng tech ay lalong gumagawa ng napakalaking pamumuhunan sa”firm”na malinis na mapagkukunan ng kapangyarihan tulad ng hydropower at nuclear energy upang matiyak ang isang matatag, 24/7 na supply para sa kanilang mga data center. Habang ang ulat ng Google ay isang makabuluhang hakbang, itinatampok din nito ang pangangailangan para sa pamantayan, pag-uulat sa buong industriya. Bilang Sasha Luccioni, isang AI at mananaliksik ng klima sa Hugging Face,
Categories: IT Info
