AWS dokonał znaczącego skoku w infrastrukturze sztucznej inteligencji, prezentując chipy Trainium2 drugiej generacji i wprowadzając serwery Trn2 UltraServers, zaprojektowane z myślą o przesuwaniu granic wydajności modelu dużego języka (LLM).
Ogłoszono na konferencji:Invent, te wydarzenia pozycjonują AWS jako potężnego gracza w szybko rozwijającym się krajobrazie sztucznej inteligencji. AWS zaprezentowało także Trainium3, chip nowej generacji obiecujący czterokrotny wzrost wydajności, którego premiera planowana jest na koniec 2025 roku.
David Brown, wiceprezes ds. obliczeń i sieci w AWS, opisał znaczenie tych innowacji:
„Trainium2 to najwydajniejszy chip AWS stworzony do tej pory. Wiedzieliśmy, że w przypadku modeli o parametrach sięgających bilionów parametrów wiedzieliśmy, że klienci będą potrzebować nowatorskiego podejścia do szkolenia i obsługi tych ogromnych modeli. Nowe serwery Trn2 UltraServers oferują najszybszą wydajność uczenia i wnioskowania w AWS dla największych modeli na świecie.”
Trainium2: Odblokowanie niespotykanych dotąd obliczeń Moc
Chipy Trainium2 zostały zaprojektowane tak, aby sprostać rosnącym wymaganiom obliczeniowym nowoczesnych modeli sztucznej inteligencji, oferując do 20,8 petaflopów gęstych obliczeń FP8 na instancję.
Każda instancja EC2 Trn2 integruje 16 układów Trainium2 połączonych za pośrednictwem opatentowanego przez AWS łącza NeuronLink, które zapewnia komunikację o niskim opóźnieniu i dużej przepustowości. Architektura ta umożliwia płynną skalowalność, krytyczną dla szkoleń i wdrażanie ekspansywnych rozwiązań LLM.
AWS zaprezentował możliwości Trainium2 dzięki modelowi Meta Llama 405B, który według firmy osiągnął „trzykrotnie większą przepustowość generowania tokenów w porównaniu z innymi dostępnymi ofertami głównych dostawców usług w chmurze”.
To ulepszenie znacznie przyspiesza zadania, takie jak generowanie tekstu, podsumowywanie i wnioskowanie w czasie rzeczywistym, wychodząc naprzeciw wymaganiom firm polegających na rozwiązaniach generatywnych AI.
[treść osadzona]
UltraServers: skalowanie poza granice
Dla przedsiębiorstw korzystających z modeli bilionowych parametrów AWS wprowadził Trn2 UltraServers , które łączą 64 chipy Trainium2, aby zapewnić do 83,2 petaflopów rzadkiej wydajności FP8.
Serwery umożliwiają szybsze trenowanie i wnioskowanie w czasie rzeczywistym dla bardzo duże modele sztucznej inteligencji, stanowiące kluczowy postęp dla firm chcących wdrażać bardzo złożone systemy.
Gadi Hutt, starszy dyrektor w Annapurna Labs, wyjaśnił możliwości UltraServers:
„Następnie to przełamiemy [16-chipów] i zapewnia 64 chipy w UltraServerze, i to w przypadku wyjątkowo dużych modeli. Jeśli więc masz model o 7 miliardach parametrów, który był kiedyś duży, ale już nie, lub model niezwykle duży, nazwijmy go 200 miliardów lub 400 miliardów. Chcesz działać z możliwie najszybszym opóźnieniem. Zatem korzystasz z UltraServera.”
Współpraca z Anthropic: budowanie największego klastra AI
AWS nawiązał współpracę z Anthropic w celu opracowania Project Ranier, platformy obliczeniowej klaster, który będzie zawierał setki tysięcy chipów Trainium2.
AWS opisuje go jako pięciokrotnie potężniejszy od obecnych systemów Anthropic i będący dotychczas największym na świecie klastrem obliczeniowym AI. podkreśla zaangażowanie AWS w zapewnianie swoim partnerom najnowocześniejszych technologii.
Anthropic, znana ze swojego Claude 3.5 Sonnet LLM, opiera się na infrastrukturze AWS, aby utrzymać przewagę konkurencyjną nad rywalami takimi jak OpenAI, a AWS niedawno ją podwoiła inwestycję w Anthropic do 8 miliardów dolarów, wzmacniając strategiczne skupienie się na generatywnej sztucznej inteligencji.
Szkolenie 3: Kształtowanie przyszłości sztucznej inteligencji Compute
AWS ogłosiło także Trainium3, nadchodzący chip zbudowany w procesie trzynanometrowym, który zapewnia czterokrotnie większą wydajność niż UltraServery. Trainium3, którego premiera ma nastąpić pod koniec 2025 r., umożliwi jeszcze szybsze szkolenie i wnioskowanie na potrzeby modeli sztucznej inteligencji nowej generacji, jeszcze bardziej umacniając wiodącą pozycję AWS w dziedzinie obliczeń AI.
David Brown nakreślił wizję AWS dotyczącą nowego chipa: „Dzięki naszej chipów Trainium3 trzeciej generacji, umożliwimy klientom szybsze budowanie większych modeli i zapewnianie doskonałej wydajności w czasie rzeczywistym podczas ich wdrażania.”
Strategia AWS dotycząca Trainium3 ma na celu stawianie czoła wyzwaniom Dominacja Nvidii na rynku sprzętu AI Podczas gdy nadchodzące procesory graficzne Nvidia Blackwell mogą pochwalić się wydajnością sięgającą 720 petaflopów w 8 PR, zintegrowane rozwiązania AWS Trainium stanowią opłacalną i skalowalną alternatywę dostosowaną do obciążeń AI na skalę korporacyjną.
Wsparcie ekosystemu: narzędzia do bezproblemowej integracji
Aby uzupełnić swoje innowacje sprzętowe, AWS udostępnia Neuron SDK, rozwiązanie rozwojowe zestaw narzędzi zoptymalizowany pod kątem frameworków takich jak PyTorch i JAX.
SDK zawiera narzędzia do rozproszonego uczenia i wnioskowania, umożliwiając programistom wykorzystanie chipów Trainium bez konieczności obszernej rekonfiguracji.
AWS oferuje również wstępnie skonfigurowane narzędzia Deep Uczenie się AMI, dzięki czemu programiści mogą szybko wdrażać aplikacje AI.
