AMD ogłosił we wtorek, że jego najnowszy sprzęt obsługuje nowe modele „GPT-Os” Openai. Obsługa dotyczy najnowszych produktów konsumenckich, takich jak Ryzen AI Chips i Radeon Graphics Cards. Najpierw AMD twierdzi, że jego układ Ryzen AI MAX+ 395 może uruchomić ogromny model parametrów 120 miliardów na lokalnym komputerze.
Wynosi to najwyższy poziom sztucznej inteligencji z chmury i na komputery domowe. Zmiana pozwala na szybsze, bardziej prywatne i offline aplikacje AI. Deweloperzy mogą korzystać z narzędzia LM Studio do dziś uruchamiania modeli, co ułatwia potężną sztuczną inteligencję.
AMD twierdzi, że konsument najpierw dla AI na urządzeniu
w ruchu, który na nowo definiuje AI na urządzeniu, ai twierdzi, że światowy First dla jego hardtury konsumenckiej . Firma ogłosiła procesor Ryzen AI Max+ 395, gdy jest skonfigurowany z 128 GB pamięci RAM, jest pierwszym układem konsumenckim zdolnym do lokalnego uruchomienia masywnego parametru 117 miliardów Openai `GPT-OSS-120B`.
To znaczący kamień milowy. Przesuwa obciążenia AI klasy Datacenter z chmury na komputer stacjonarny lub laptop. Według AMD system osiąga bardzo użyteczną wydajność do 30 tokenów na sekundę, dzięki czemu złożona lokalna sztuczna inteligencja jest praktyczną rzeczywistością dla programistów i badaczy.
[Wbudowana treść]
Wymagania techniczne są strome, ale wymowne. Model „GPT-OS-1220B” potrzebuje około 61 GB VRAM. Pasuje to do 96 GB dedykowanej pamięci graficznej dostępnej na specjalistycznej platformie Ryzen AI MAX+ 395, funkcja AMD niedawno wyróżnione .
Dla osób pracujących z mniejszym, ale wciąż silnym modelem `GPT-OSS-20B` wskazuje na kartę Radeon 9070 XT 16 GB Graphics. Firma podkreśla swój doskonały czas do pierwszego tokenu (TTFT), który zapewnia responsywną wydajność dla agencyjnych przepływów pracy, które opierają się na szybkich początkowych wyjściach.
[zawartość wbudowana]
Ten sprzęt jest częścią masowej, skoordynowanej premiery dla pierwszej otwartych modeli Openai od 2019 r. Wydana pod licencją dopuszczalną APACHE 2.0, „GPT-Ross” jest zaplanowana dla szerokiej instalacji. Reprezentują strategiczne obrotność dla Openai.
Modele są zbudowane na wydajnej architekturze mieszanki doświadczeń (MOE). Ten projekt aktywuje tylko ułamek całkowitego parametrów dla dowolnego zadania, drastycznie zmniejszając koszty obliczeniowe i czyniąc je opłacalnymi do wykonywania na urządzeniu.
Krytycznym elementem tego nowego ekosystemu jest „harmonia”, obowiązkowy format czatu Openai wymaga, aby modele działały poprawnie. Ten szablon konstruuje dane wyjściowe modelu w osobnych kanałach w celu rozumowania, użycia narzędzia i ostatecznej odpowiedzi, dając programistom bardziej przejrzystą kontrolę.
Jak uruchomić AI w skali danych Datacenter na biurku
AMD dostarczył clear ścieżka dla deweloperów . Podstawowym narzędziem jest LM Studio, bezpłatna aplikacja, która upraszcza pobieranie i uruchamianie LLM. Użytkownicy muszą również zainstalować najnowsze oprogramowanie AMD: adrenalinowe sterowniki GPT-SITS (wersja 25.8.1 lub wyższa), aby ubiegać się o niezbędne funkcje. Odkładanie wszystkich warstw obliczeniowych do GPU, a następnie ładowanie modelu do pamięci. Podczas gdy model 120B może zająć trochę czasu ze względu na jego rozmiar, wynik jest potężnym silnikiem rozumowania działającym całkowicie lokalnie.
skoordynowana premiera w celu zbudowania nowego otwartego standardu
Ogłoszenie AMD nie nastąpiło w wakuum. Była to kluczowa część starannie zorganizowanego wydarzenia w branży, które ma na celu ustalenie „GPT-Os” i harmonii jako nowego standardu. Microsoft zaprezentował swoje lokalne platformy systemu Windows AI i Foundry Local Platforms do uruchamiania modeli w systemie Windows i MacOS.
w zaskakującym posunięciu „współpracy” AWS ogłosił, że zaoferuje modele swoich usług Bedrock i Sagemaker, zapewniając Openai główny kanał dystrybucyjny poza Microsoft. Dołączył również Qualcomm, umożliwiając obsługę urządzeń na urządzeniu dla komputerów zasilanych Snapdragonem.
To szerokie wsparcie sygnalizuje strategiczne dążenie do Openai w celu odzyskania wpływów w społeczności open source. Analitycy sugerują, że „częściowo chodzi o ponowne wspomnienie dominacji Openai w ekosystemie badawczym”. Ten sentyment powtórzy się we własnym kadrowaniu wersji Openai, przy czym firma stwierdziła, że „szeroki dostęp do tych zdolnych modeli otwartych w USA pomaga rozszerzyć demokratyczne szyny AI.”
Przenieś pozycję Openai do konkurowania bezpośrednio z rywalami typu open source, takimi jak meta. Zapewniając potężne, dostępne i szeroko obsługiwane modele, firma ma przekonujący argument za ekosystem. Jak zauważyła Asha Sharma z Microsoftu: „Po raz pierwszy możesz uruchomić modele Openai, takie jak GPT-OSS-1220B na jednym procesorze GPU Enterprise-lub uruchamianie lokalnie GPT-OSS-20B”. Podkreślenie nowej hybrydowej rzeczywistości AI