Grupul de cercetare academică din spatele Chatbot Arena, platforma pe scară largă pentru clasamentul modelelor de inteligență artificială, a înființat o companie formală, Arena Intelligence Inc., care va funcționa sub numele de marcă Lmarena.
așa cum este detaliat într-un Anastasios Angelopoulos și wei-lin chiang , alături de UC Berkeley, profesor și notabil tech antreprenor ion Stoica , un co-fondator al DataBricks și AnyScale.
Acest sistem a creat un clasament public care a devenit influent, atrăgând rapid un milion de vizitatori lunar. Laboratoarele majore AI precum OpenAI, Google și Antropic utilizează platforma, uneori chiar folosindu-o ca teren de testare pentru modele inedite. Angelopoulos a declarat că viziunea de bază rămâne constantă: „Viziunea noastră este că acesta va rămâne un loc în care toată lumea de pe internet poate veni să încerce să discute și să folosească AI, să compare diferiți furnizori și așa mai departe. href=”https:> andreessen horowitz , și compania de infrastructură AI împreună ai . > adresarea scării și scrutinului
Formarea Arena Intelligence Inc. vine pe măsură ce platforma se confruntă cu cerințele operaționale ale popularității sale. Echipa a declarat că „a deveni o companie ne va oferi resursele pentru a îmbunătăți Lmarena în mod semnificativ în ceea ce este astăzi. și oferă opțiuni de vot mai clare pe baza contribuțiilor comunității. Actualizările viitoare ale platformei sunt prevăzute pentru a include conturi de utilizator, economisirea istoricului chatului și crearea de clasamente personale.
Această schimbare organizațională are loc, de asemenea, pe fondul discuțiilor în curs de desfășurare despre metodologia și prejudecățile potențiale ale platformei și examinarea existentă în ceea ce privește metodele și finanțarea acesteia. Criticile anterioare s-au concentrat pe voturile utilizatorilor (influențate de preferințe stilistice și abilități variate de a detecta erorile AI), potențialele demografice potențiale ale bazei de utilizator departe de publicul larg, iar transparența în ceea ce privește setul de date complet.
Întrebările despre subiecția de imparțial, de asemenea > angajând neutralitatea în timp ce extinde domeniul de aplicare
Echipa Lmarena a abordat direct problema crucială a corectitudinii în anunțul lor, subliniind angajamentul de evaluare imparțială: „Clasamentul nostru nu va fi niciodată părtinitor față de (sau împotriva) niciunui furnizor și va reflecta cu credință preferințele comunității noastre prin proiectare. Aceștia și-au subliniat convingerea că captarea preferințelor umane autentice, din lumea reală, este esențială pentru a avansa AI în mod responsabil pentru toți utilizatorii și dezvoltatorii.
Dincolo de rafinarea clasamentelor principale de chatbot, Lmarena planifică o extindere semnificativă a activităților sale de evaluare. Foaia de parcurs include sprijinirea sprijinului pentru cercetări deschise și lansarea mai multor medii de testare specializate. Site-ul companiei listează deja proiecte active precum WebDev Arena, Repochat Arena și Search Arena, cu planuri pentru viitoarele arene dedicate modelelor de viziune, agenților AI și exerciții AI Red-Teaming.
în timp ce Arena Intelligence Inc. intenționează pentru a ridica capitalul de risc pentru a susține creșterea și dezvoltarea platformei, specificul potențialului investitorilor sau a finanțării țintelor de finanțare nu au fost distribuite. De asemenea, compania își determină modelul de afaceri pe termen lung. O posibilitate, menționată de Stoica către Bloomberg, ar putea implica companiile de încărcare pentru evaluarea modelelor lor pe platformă. Navigarea cu succes pe calea de a asigura finanțarea și introducerea fluxurilor de venituri, în timp ce menținerea riguroasă a neutralității și credibilității științifice a platformei, va fi centrală pentru tranziția Lmarena de la originile sale academice într-o entitate comercială durabilă.