Qualcomm nawiązał współpracę z projektantem procesorów serwerowych Arm Ampere Computing, aby zwiększyć możliwości infrastruktury AI. Współpraca ta została ujawniona podczas corocznej aktualizacji strategii i planu działania Ampere, obejmującej wprowadzenie serwera 2U wyposażonego w osiem akceleratorów Qualcomm AI 100 Ultra i 192 rdzenie procesora Ampere do wnioskowania w zakresie uczenia maszynowego.
Qualcomm Cloud AI 100 Ultra oferuje zoptymalizowane pod kątem wydajności i kosztów rozwiązanie wnioskowania AI dostosowane do generatywnej sztucznej inteligencji i duże modele językowe (LLM). Zawiera do 576 MB wbudowanej pamięci SRAM i 64 rdzenie AI na kartę, zaspokajając specyficzne potrzeby skalowania zarówno klasycznych, jak i generatywnych obciążeń AI, w tym widzenia komputerowego, przetwarzania języka naturalnego i LLM opartych na transformatorach.
Rozwiązania ARM AI o dużej gęstości
Ampere twierdzi, że ta konfiguracja może obsłużyć do 56 akceleratorów AI i 1344 rdzeni obliczeniowych w standardowej szafie o mocy 12,5 kW, eliminując potrzebę kosztownych systemy chłodzenia cieczą. Firma ogłosiła również, że jej najnowszy procesor serwerowy będzie wyposażony w 256 rdzeni i do 12 kanałów pamięci, a w przyszłym roku przejdzie na technologię procesową 3 nm firmy TSMC.
Ampere i Oracle wykazały, że duże modele językowe (LLM) mogą działać na procesorach, choć z pewnymi ograniczeniami. Procesory są na ogół bardziej odpowiednie dla mniejszych modeli z siedmioma do ośmioma miliardami parametrów i mniejszymi rozmiarami partii. Akceleratory AI 100 firmy Qualcomm, charakteryzujące się większą przepustowością pamięci, są przeznaczone do obsługi większych modeli lub partii o większych rozmiarach, dzięki czemu są bardziej wydajne w zadaniach wnioskowania.
Akceleratory AI 100 Ultra firmy Qualcomm
Akceleratory AI 100 Ultra firmy Qualcomm, choć nie są tak powszechnie uznawane na rynku chipów AI dla centrów danych, jak procesory graficzne Nvidii czy Gaudi Intela, są dostępne od kilku lat. Wprowadzona na rynek jesienią ubiegłego roku seria AI 100 Ultra to płaska, jednogniazdowa karta PCIe przeznaczona do wnioskowania LLM. Przy mocy 150 W jego wymagania dotyczące zasilania są skromne w porównaniu z procesorami graficznymi AMD i Nvidia o mocy 600 W i 700 W. Qualcomm twierdzi, że pojedyncza karta AI 100 Ultra może obsłużyć 100 miliardów modeli parametrów, a para obsługuje modele w skali GPT-3 (175 miliardów parametrów).
64-rdzeniowa karta AI 100 Ultra zapewnia 870 TOP z precyzją INT8 i jest wyposażony w 128 GB pamięci LPDDR4x, oferując przepustowość 548 GB/s. Przepustowość pamięci jest niezbędna do skalowania wnioskowania AI do większych partii. Qualcomm wdrożył optymalizacje oprogramowania, takie jak dekodowanie spekulatywne i formaty mikroskalowania (MX), aby zwiększyć przepustowość i wydajność. Dekodowanie spekulatywne wykorzystuje mniejszy model do generowania początkowych odpowiedzi, które są następnie sprawdzane i korygowane przez większy model. Formaty mikroskalowania, forma kwantyzacji, zmniejszają zużycie pamięci modeli poprzez kompresję wag modeli do niższej precyzji.
