Bostoński startup Extropic ujawnił w tym tygodniu nowy rodzaj sprzętu AI opartego na „obliczeniach termodynamicznych”.
Firma zbudowała swoje pierwsze działające chipy, które według niej mogą być tysiące razy bardziej energooszczędne niż obecne procesory graficzne.
Przełom następuje, gdy giganci tacy jak Amazon i Apple wydają dziesiątki miliardów na ogromne, energochłonne centra danych. Extropic obstawia, że kluczem do skalowania sztucznej inteligencji nie jest większa moc, ale inteligentniejsze, radykalnie wydajne obliczenia, stanowiące bezpośrednie wyzwanie dla ogromnego zapotrzebowania na energię obecnego przemysłu sztucznej inteligencji.
Wyścig zbrojeń w zakresie infrastruktury sztucznej inteligencji uderza w energię Ściana
Sztuczna inteligencja staje się astronomicznie droga, a jej główną walutą jest energia elektryczna. W miarę powiększania się modeli energia potrzebna do ich trenowania i obsługi tworzy coś, co wielu nazywa „ścianą energetyczną sztucznej inteligencji” – podstawową barierę na drodze do przyszłego skalowania.
USA centra danych są na dobrej drodze, aby do 2030 r. zużyć oszałamiającą ilość 426 terawatogodzin, co ponad dwukrotnie zwiększy zużycie 183 TWh w 2024 r., według niezależnej analizy. Ten nienasycony popyt zapoczątkował szalony, wielomiliardowy wyścig zbrojeń infrastrukturalnych wśród największych firm technologicznych na świecie.
Tytani branży inwestują kapitał w rozległe nowe obiekty. Właśnie w tym tygodniu Amazon Web Services uruchomił centrum danych AI w stanie Indiana o wartości 11 miliardów dolarów, zbudowane wyłącznie do zasilania modeli dla swojego partnera Anthropic.
Dyrektor generalny AWS Matt Garman podkreślił natychmiastowość projektu, stwierdzając: „To nie jest jakiś przyszły projekt, o którym rozmawialiśmy, a który być może ożyje. Dzisiaj uruchamiane i szkolone są ich modele.”
Jest to zgodne z planami OpenAI dotyczącymi jego gigantycznego projektu Stargate i opracowania przez Meta Elektrownia Hyperion o mocy 2 gigawatów. Aby nie pozostać w tyle, Apple niedawno przyspieszyło otwarcie własnej amerykańskiej fabryki serwerów AI w Teksasie.
Nawet uznani producenci chipów starają się dostosować do tej nowej rzeczywistości. Intel, kierując się nową filozofią ścisłej dyscypliny fiskalnej, celuje w rynek wnioskowania sztucznej inteligencji za pomocą procesora graficznego „Crescent Island”, chipa zaprojektowanego z myślą o oszczędności energii i kosztach, a nie o czystej wydajności.
Są to jednak stopniowe ulepszenia istniejącej, energochłonnej architektury, a strategia, którą Extropic chce uczynić przestarzałą.
Nowy plan: obliczenia termodynamiczne
Podczas gdy Big Tech buduje większy, Extropic buduje inaczej. Firma zaprezentowała zupełnie nowy paradygmat obliczeń, który według niej może wykonywać określone zadania generatywnej sztucznej inteligencji przy 10 000 razy mniej energii niż konwencjonalny sprzęt.
Podejście to, zwane obliczeniami termodynamicznymi, reprezentuje fundamentalne przemyślenie na nowo, jak powinien działać chip, wychodząc od przetwarzanie deterministyczne na próbkowanie probabilistyczne.
Zamiast walczyć z szumem elektronicznym nieodłącznym w krzemie, co jest ciągłą walką w takich dziedzinach jak obliczenia kwantowe, założyciele Extropic postanowili go wykorzystać. Ich sprzęt, zwany termodynamiczne jednostki próbkujące (TSU), wykorzystuje naturalne, losowe fluktuacje elektronów do bezpośredniego modelowania prawdopodobieństwa.
Jego podstawowymi składnikami są „bity probabilistyczne”, czyli p-bity, które reprezentują raczej stan niepewności niż określoną wartość 1 lub 0. Umożliwia to chipowi pobieranie próbek, co jest głównym zadaniem generatywnej sztucznej inteligencji, w sposób natywny dla fizyki samego urządzenia.
Założony przez byłych badaczy informatyki kwantowej Google, startup przejmuje stronę z fizyki, aby rozwiązać problem informatyczny. Dyrektor ds. technicznych firmy Extropic, Trevor McCourt, postrzega tę innowację jako nowy fundament sztucznej inteligencji. „Mamy prymitywne uczenie maszynowe, które jest znacznie wydajniejsze niż mnożenie macierzy” – mówi. „Pytanie brzmi, jak zbudować coś na skalę ChatGPT lub Midjourney.”
Tworząc prymityw, który jest zgodny z probabilistyczną naturą współczesnej sztucznej inteligencji, firma ma nadzieję ominąć brutalne mnożenie macierzy, które sprawia, że procesory graficzne są tak energochłonne i nieefektywne w przypadku tych konkretnych obciążeń.
Od bostońskiego garażu po podwórko Big Tech
Extropic szybko przechodzi od koncepcji teoretycznej do namacalnego produktu. Dzięki wsparciu początkowemu o wartości 14,1 miliona dolarów prowadzonemu przez Kindred Ventures firma wyprodukowała już swój pierwszy działający sprzęt i przekazuje go potencjalnym klientom.
Platforma rozwojowa XTR-0 jest obecnie testowana przez garstkę pierwszych partnerów, w tym pionierskie laboratoria AI i przedstawicieli rządów.
„Dzięki temu programiści wszelkiego rodzaju mogą dać sobie spokój” – mówi dyrektor generalny Guillaume Verdon. Jednym z takich programistów jest Johan Mathe, dyrektor generalny startupu Atmo zajmującego się modelowaniem pogody, który potwierdził, że aktywnie testuje nowe chipy.
„Udało mi się uruchomić kilka p-bitów i sprawdzić, czy zachowują się tak, jak powinny” – potwierdził. Ta wczesna weryfikacja jest kluczowa dla firmy wysuwającej tak śmiałe twierdzenia.
Oprócz sprzętu firma Extropic udostępniła nowy generatywny algorytm sztucznej inteligencji dostosowany do swojej architektury, Denoising Thermodynamic Model (DTM).
Aby zachęcić do szerszych badań i rozwoju, udostępniła także bibliotekę Pythona o otwartym kodzie źródłowym `thrml`, która umożliwia programistom symulowanie zachowania TSU na istniejących procesorach graficznych, obniżając barierę wejścia na ten nowy ekosystem, zgodnie z zapowiedzią.
Pojawienie się firmy Extropic stanowi śmiałe wyzwanie dla panującego w branży konsensusu, że skalowanie sztucznej inteligencji wymaga po prostu większej liczby centrów danych i większej mocy.
Pod przewodnictwem Verdona, fizyka znanego również ze swojej obecności w Internecie i powiązań z protechnologią filozofia „efektywnego akceleracji” (e/acc), Extropic stawia przeciwne założenie. Twierdzi, że przyszłość sztucznej inteligencji nie zależy od zbudowania większego młotka, ale od wynalezienia zupełnie innego i znacznie wydajniejszego rodzaju narzędzia.
