AI Inference Startup GROQ hat eine aggressive Kampagne gestartet, um die Dominanz von Cloud-Giganten wie Amazon Web Services und Google herauszufordern und seine spezielle Hochgeschwindigkeitstechnologie durch eine neue Partnerschaft mit der umarmenden Face-Plattform direkt für Millionen von Entwicklern zur Verfügung zu stellen. Der Schritt zielt darauf ab, die KI-Landschaft zu formulieren, indem sie weit verbreitete Zugriff auf schnellere, kostengünstigere Inferenz ermöglichen, eine kritische Phase bei der Bereitstellung künstlicher Intelligenzanwendungen. Face , ein zentraler Hub für KI-Entwickler und Forscher. Um seine Funktionen zu demonstrieren, führt COQ jetzt fortschrittliche Modelle wie den QWEN3 32B von Alibaba aus und unterstützt das gesamte 131.000-geschwende Kontextfenster des Modells mit hoher Geschwindigkeit. Diese technische Leistung, die die Analyse ganzer Dokumente in Echtzeit ermöglicht, soll einen klaren Leistungsvorteil gegenüber der allgemeinen Hardware demonstrieren, die die meisten wichtigen Cloud-Angebote untermauert. In einer gemeinsamen Erklärung der Unternehmen wurde das Ziel hervorgehoben und besagt: „Diese Zusammenarbeit zwischen Umarmungsgesicht und GROQ ist ein wesentlicher Schritt vorwärts, um eine leistungsfähigere und effiziente Leistung von Hochleistungen zu erzielen.
Durch die Einbettung seiner Technologie, in der Entwickler bereits arbeiten, kann CRQ bis 2030 einen erheblichen Marktanteil in einem Sektor haben, der voraussichtlich über 154 Milliarden US-Dollar wert ist. href=”https://groq.com/wp-content/uploads/2024/07/groqthoughts_Whatisalpu-vf.pdf”Target=”_ Blank”> Custom-Built-Sprachverarbeitungseinheit (LPU) Architektur , eine spezielle Chip, die spezifisch für die Anforderungen der AI-Inferenz für die Ai-Inferenz entworfen wurde. Im Gegensatz zu dem vielseitigeren GPUs, der einen Großteil der KI-Industrie betreibt, besitzt der LPUs von COQ ein grundlegendes Design, das Co-Leckerbisse auf dem Chip berechnet und erinnert. Dadurch werden die externen Speicher-Bandbreiten-Engpässe beseitigt, die die GPU-Leistung in sequentiellen, sprachbasierten Aufgaben behindern können.
Dieser spezielle Ansatz liefert eine bemerkenswerte Leistung. Unabhängiges Benchmarking-Unternehmen Künstliche Analyse bestätigte, dass die Bereitstellung des QWEN3 32B-Modells durch GRQ bei ungefähr 535 Token pro Sekunde ausgeführt wird. Das Unternehmen hat betont, dass diese Geschwindigkeit nicht auf Kosten der Fähigkeit gilt, und behauptet, es sei der einzige schnelle Inferenzanbieter, der es Entwicklern ermöglicht, „Workloads auf Produktionsebene zu erstellen, nicht nur POCs“ mit dem vollständigen Kontextfenster des Modells. Entwickler können über die COQCloud-API auf das Modell zugreifen, indem sie die Identifikator QWEN/QWEN3-32B verwenden. Diese Kombination aus Geschwindigkeit und niedrigen Kosten zeigt ein überzeugendes Wertversprechen in einem Markt, der häufig durch hohe Berechnungspfehlungen gekennzeichnet ist. Für die Entscheidungsträger von Unternehmen führt jedoch die Vertrag auf einen kleineren, spezialisierten Anbieter potenzieller Risiken in Bezug auf die Stabilität der Lieferkette und die langfristige Unterstützung im Vergleich zur etablierten globalen Infrastruktur von Amazon, Google und Microsoft ein.
Trotz dieser Herausforderungen bleibt GREQ zuversichtlich. Ein Sprecher stellt fest, dass selbst wenn das Unternehmen seine geplante Infrastruktur verdoppelt würde, „es immer noch ausreichend Kapazität gibt, um die Nachfrage heute zu befriedigen.“ Entwicklerökosystem. Die Partnerschaft mit Sugging Face ist ein transformativer strategischer Schritt, der Millionen von Entwicklern ein Tor bietet. Durch die Begegnung von Entwicklern auf einer Plattform, die sie bereits verwenden, senkt CRQ die Eintrittsbarriere für seine Technologie erheblich. Eine Strategie, die ein Unternehmenssprecher sagte, erweitert die Auswahl und beschleunigt die Adoption. Anzahl der optimierten Modelle. Die Zusammenarbeit zielt darauf ab, einen Schwungrad-Effekt zu erzielen: Wenn mehr Entwickler mit der Geschwindigkeit von GREP experimentieren, könnte die Nachfrage nach seiner speziellen Hardware wachsen und die Ausdehnung und Fähigkeit, die Amtsinhaber herauszufordern, weiterentwickelt. Saudi-Arabien. Im Februar hat das Unternehmen einen Investitionsvertrag von 1,5 Milliarden US-Dollar mit dem Kingdom abgeschlossen, ein Deal, mit dem die Vision 2030 Saudi-Arabiens vorhanden war, um seine Wirtschaft zu diversifizieren und zu einer globalen technologischen Macht zu werden.
Diese Beziehung hat sich zu einer strategischen Kernpartnerschaft entwickelt. CREQ ist heute ein wichtiger Technologieanbieter für Humain, Saudi-Arabiens neues staatliches AI-Entität, das eine Offensive von Multi-Milliarden-Dollar zum Aufbau eines souveränen AI-Ökosystems ausführt. Dies spiegelt ein differenziertes Verständnis der KI-Hardware-Landschaft wider, in der verschiedene Tools für verschiedene Jobs verwendet werden. Dieses Gefühl wurde von Jensen Huang, CEO von Nvidia, wiederholt, der für jede Nation, die in der modernen Wirtschaft teilnehmen möchte, AI-Infrastruktur genannt hat. Durch die Nutzung seiner einzigartigen LPU-Architektur, die Forderung kritischer Allianzen mit Entwicklerplattformen und die Sicherung einer leistungsstarken finanziellen und geopolitischen Unterstützung hat das Unternehmen eine glaubwürdige Herausforderung für die etablierte Ordnung. Dominanz.