Ang
AI Inference Startup Groq ay naglunsad ng isang agresibong kampanya upang hamunin ang pangingibabaw ng mga higanteng ulap tulad ng Amazon Web Services at Google, na ginagawa ang dalubhasang teknolohiya ng pagproseso ng high-speed na direktang magagamit sa milyun-milyong mga developer sa pamamagitan ng isang bagong pakikipagtulungan sa platform ng yakap na mukha. Ang paglipat ay naglalayong gawing muli ang landscape ng AI sa pamamagitan ng pagbibigay ng malawakang pag-access sa mas mabilis, mas mababang gastos, isang kritikal na yugto sa pag-aalis ng mga artipisyal na aplikasyon ng katalinuhan. Mukha , isang gitnang hub para sa mga developer at mananaliksik ng AI. Upang maipakita ang mga kakayahan nito, ang GROQ ay nagpapatakbo ngayon ng mga advanced na modelo tulad ng QWEN3 32B ng Alibaba, na sumusuporta sa buong 131,000-token na window ng konteksto ng modelo sa mataas na bilis. Ang teknikal na feat na ito, na nagbibigay-daan para sa pagsusuri ng buong mga dokumento sa real-time, ay idinisenyo upang ipakita ang isang malinaw na kalamangan sa pagganap sa pangkalahatang layunin na hardware na sumasailalim sa karamihan sa mga pangunahing handog na ulap. Ang isang magkasanib na pahayag mula sa mga kumpanya ay naka-highlight sa layunin, na nagsasabi,”Ang pakikipagtulungan sa pagitan ng yakap na mukha at Groq ay isang makabuluhang hakbang pasulong sa paggawa ng high-performance ai inference na mas naa-access at mahusay.”Sa pamamagitan ng pag-embed ng teknolohiya nito kung saan nagtatrabaho na ang mga developer, ang GROQ ay pumusta maaari itong mag-ukit ng makabuluhang pagbabahagi ng merkado sa isang sektor na inaasahang nagkakahalaga ng higit sa $ 154 bilyon sa pamamagitan ng 2030. href=”https://groq.com/wp-content/uploads/2024/07/groqthoughts_whatisalpu-vf.pdf”target=”_ blangko”> pasadyang-built na yunit ng pagproseso ng wika (lpu) arkitektura , isang chip na idinisenyo partikular para sa mga hinihingi ng isang inference. Hindi tulad ng mas maraming nalalaman na mga GPU na may kapangyarihan sa industriya ng AI, ang mga LPU ng GROQ ay nagtataglay ng isang iba’t ibang disenyo na magkakaibang mga co-locates na compute at memorya sa chip. Tinatanggal nito ang panlabas na memorya ng bandwidth bottlenecks na maaaring mapigilan ang pagganap ng GPU sa sunud-sunod, mga gawain na batay sa wika. independiyenteng benchmarking firm artipisyal na pagsusuri Kinumpirma na ang pag-deploy ng GROQ ng QWEN3 32B na modelo ay tumatakbo sa humigit-kumulang na 535 token bawat segundo. Binigyang diin ng kumpanya na ang bilis na ito ay hindi dumating sa gastos ng kakayahan, na inaangkin na ito lamang ang mabilis na tagabigay ng pag-iintindi na nagpapahintulot sa mga developer na magtayo ng”mga antas ng antas ng paggawa, hindi lamang mga POC”sa buong window ng konteksto ng modelo. Maaaring ma-access ng mga nag-develop ang modelo sa pamamagitan ng GroqCloud API gamit ang identifier qwen/qwen3-32b. Ang kumbinasyon ng bilis at mababang gastos ay nagtatanghal ng isang nakakahimok na panukala ng halaga sa isang merkado na madalas na nailalarawan sa pamamagitan ng mataas na gastos sa compute. Gayunpaman, para sa mga gumagawa ng desisyon ng negosyo, na umaasa sa isang mas maliit, mas dalubhasang tagapagbigay ng serbisyo ay nagpapakilala ng mga potensyal na panganib tungkol sa katatagan ng supply chain at pangmatagalang suporta kumpara sa itinatag na pandaigdigang imprastraktura ng Amazon, Google, at Microsoft.
Sa kabila ng mga hamong ito, nananatiling tiwala si Groq, na napansin ng isang tagapagsalita na kahit na ang kumpanya ay doble ang nakaplanong imprastraktura nito,”Hindi pa rin sapat ang kapasidad upang matugunan ang demand ngayon.”Ecosystem ng Developer. Ang pakikipagtulungan sa Hugging Face ay isang pagbabagong istratehikong paglipat na nagbibigay ng isang gateway sa milyun-milyong mga developer. Sa pamamagitan ng pagtugon sa mga developer sa isang platform na ginagamit na nila, ang GROQ ay makabuluhang pagbaba ng hadlang sa pagpasok para sa teknolohiya nito, isang diskarte na sinabi ng isang tagapagsalita ng kumpanya na nagpapalawak ng pagpili at pabilis ang pag-aampon. Lumalagong bilang ng mga na-optimize na modelo. Ang pakikipagtulungan ay naglalayong lumikha ng isang flywheel effect: dahil mas maraming mga developer ang nag-eksperimento sa bilis ng GROQ, ang demand para sa dalubhasang hardware ay maaaring lumago, karagdagang pag-gasolina nito at kakayahang hamunin ang mga incumbents. ng Saudi Arabia. Noong Pebrero, natapos ng kumpanya ang isang $ 1.5 bilyong kasunduan sa pamumuhunan sa Kingdom, isang pakikitungo na idinisenyo upang isulong ang plano ng Saudi Arabia 2030 upang pag-iba-ibahin ang ekonomiya nito at maging isang pandaigdigang kapangyarihan ng teknolohiya. Si Groq ay ngayon ay isang pangunahing tagapagbigay ng teknolohiya para sa Humain, ang bagong entidad na pag-aari ng estado ng Saudi Arabia na nakakasakit na pag-aari ng estado na nakakasakit upang makabuo ng isang soberanong AI ecosystem. Ito ay sumasalamin sa isang nuanced na pag-unawa sa AI hardware landscape, kung saan ang iba’t ibang mga tool ay ginagamit para sa iba’t ibang mga trabaho. Ang damdamin na ito ay binigkas ng NVIDIA CEO na si Jensen Huang, na tinawag na imprastraktura ng AI na mahalaga para sa bawat bansa na naghahanap upang makipagkumpetensya sa modernong ekonomiya. Sa pamamagitan ng pag-agaw ng natatanging arkitektura ng LPU, na nakakalimutan ang mga kritikal na alyansa sa mga platform ng developer, at pag-secure ng malakas na pagkakasunud-sunod at geopolitical na pagsuporta, ang kumpanya ay naka-mount ng isang kapani-paniwala na hamon sa itinatag na pagkakasunud-sunod. AI DESIANCE.