SambaNova Systems, kluczowy gracz w dziedzinie generatywnej sztucznej inteligencji zorientowanej na przedsiębiorstwa, ustanowił nowy benchmark wydajności, osiągając przepustowość 1000 tokenów na sekundę przy użyciu modelu instrukcji z parametrem Lama 3 8B. To osiągnięcie, potwierdzone przez niezależną firmę testującą Artificial Analysis, przewyższa poprzedni rekord Groq wynoszący 800 tokenów na sekundę. Ten kamień milowy oznacza znaczący postęp w możliwościach generatywnych systemów sztucznej inteligencji.
Zastosowania i implikacje dla przedsiębiorstw
Wzrost szybkości przetwarzania ma daleko idące konsekwencje dla różne aplikacje korporacyjne. Krótszy czas reakcji, lepsze wykorzystanie sprzętu i obniżone koszty operacyjne to tylko niektóre z korzyści. To przyspieszenie jest szczególnie korzystne w przypadku aplikacji wymagających małych opóźnień i dużej przepustowości, takich jak agenci AI, konsumenckie aplikacje AI i interpretacja dokumentów na dużą skalę. George Cameron, współzałożyciel Sztucznej Analizy, poinformował VentureBeat rosnące tempo wyścigu chipów AI i podkreśla rosnące opcje sprzętowe dostępne dla programistów AI. Jego firma kładzie nacisk na wydajność tych systemów w świecie rzeczywistym, wnosząc nowe emocje do zastosowań zależnych od szybkości.
🚀 SambaNova wyprzedziła firmę NVIDIA w nowym teście szybkości przeprowadzonym przez sztuczną analizę. 🚀
Samba-1 Turbo działa fenomenalnie szybko z prędkością 1000 t/s, rekord świata: https://t.co/PmDHWrFGCH.#AI # GenAI #EnterpriseAI #LLM #NLP #AIareAll #GPUAlternative #EnterpriseScaleAI #AIChips #ChipRace pic.twitter.com/TMtUqyZWpy
— SambaNova Systems (@ SambaNovaAI) 29 maja 2024
Postęp technologiczny stojący za tym osiągnięciem
Głównym czynnikiem sukcesu SambaNova jest technologia Reconfigurable Dataflow Unit (RDU), która odróżnia ją od tradycyjnych akceleratorów AI, takich jak procesory graficzne Nvidia. Jednostki RDU to wyspecjalizowane chipy AI zaprojektowane do wspierania zarówno fazy uczenia, jak i wnioskowania w procesie opracowywania modelu sztucznej inteligencji. Doskonale radzą sobie z wymaganiami dotyczącymi obciążenia pracą przedsiębiorstw, w tym z dostrajaniem modelu. Stos oprogramowania SambaNova odgrywa kluczową rolę w optymalizacji RDU pod kątem wzrostu wydajności, umożliwiając iteracyjną optymalizację alokacji zasobów pomiędzy różnymi warstwami sieci neuronowej, co prowadzi do znacznej poprawy zarówno wydajności, jak i szybkości.
Wprowadzenie Samby-1-Turbo, napędzane chipem SN40L, odegrało kluczową rolę w osiągnięciu tego rekordu świata. Samba-1-Turbo przetwarza 1000 tokenów na sekundę z 16-bitową precyzją, korzystając z zaawansowanego modelu Llama-3 Instruct (8B). W przeciwieństwie do tradycyjnych procesorów graficznych, które często cierpią z powodu ograniczonej pojemności pamięci w chipie i częstych transferów danych, RDU SambaNova może pochwalić się ogromną pulą rozproszonej pamięci w chipie poprzez jednostki pamięci wzorcowej (PMU). Te jednostki PMU są umieszczone blisko jednostek obliczeniowych, minimalizując przepływ danych i zwiększając wydajność.
Optymalizacja wykonania sieci neuronowej
Tradycyjne procesory graficzne wykonują modele sieci neuronowych w sposób jądro po jądrze, który zwiększa opóźnienia i nie wykorzystuje w pełni jednostek obliczeniowych. Z kolei kompilator SambaFlow odwzorowuje cały model sieci neuronowej w postaci wykresu przepływu danych na strukturę RDU, umożliwiając realizację potokowego przepływu danych i zwiększając wydajność. Obsługa dużych modeli na procesorach graficznych często wymaga złożonej równoległości modeli, wymagającej wyspecjalizowanych struktur i kodu. Architektura RDU SambaNova automatyzuje równoległość danych i modeli podczas mapowania wielu jednostek RDU w systemie, upraszczając proces i zapewniając optymalną wydajność.
Zaawansowany Meta-Llama-3-8B-Instruct zapewnia niespotykaną prędkość i wydajność Samba-1-Turbo. Dodatkowo pakiet SambaLingo firmy SambaNova obsługuje wiele języków, w tym arabski, bułgarski, węgierski, rosyjski, serbski (cyrylica), słoweński, tajski, turecki i japoński, co pokazuje wszechstronność systemu i globalne zastosowanie. Ścisła integracja sprzętu i oprogramowania w Samba-1-Turbo jest kluczem do jego sukcesu, dzięki czemu generatywna sztuczna inteligencja staje się bardziej dostępna i wydajna dla przedsiębiorstw.
