Pela primeira vez desde a sua criação, a Chatbot Arena, uma tabela de classificação para modelos de linguagem de IA, tem um novo líder. O desenvolvedor de aplicativos Nick Dobos descobriu que Claude 3 Opus da Anthropic ultrapassou o GPT-4 da OpenAI, marcando um marco significativo no cenário competitivo da tecnologia de IA. Este desenvolvimento foi confirmado em 27 de março de 2024, quando Claude 3 Opus – uma das novas versões de Claude – assumiu a liderança contra o GPT-4 Turbo, mostrando as capacidades em evolução e os avanços nos modelos de linguagem de IA.
A Anthropic lançou o Claude 3 no início deste mês, uma nova família de modelos: Claude 3 Haiku, Claude 3 Sonnet e Claude 3 Opus, com cada modelo subsequente oferecendo maior complexidade e contagem de parâmetros. Claude 3 Opus, a variante mais potente do trio, só é acessível por meio de um serviço de assinatura chamado “Claude Pro”, que custa aos assinantes US$ 20 mensais por meio do site da Anthropic.
Uma nova referência em IA Desempenho
O Chatbot Arena serve como uma plataforma crítica para pesquisadores de IA, fornecendo um método de crowdsourcing para avaliar o desempenho de vários modelos de linguagem de IA. Os participantes participam de comparações lado a lado dos resultados do modelo, classificá-los com base em critérios subjetivos. Esse processo permitiu uma compreensão mais detalhada do que torna um modelo de IA eficaz, enfatizando a importância das”vibrações”ou da qualidade subjetiva das interações, em relação aos benchmarks numéricos tradicionais.
O rei está morto
RIP GPT-4
Claude opus #1 ELoHaiku vence GPT-4 0613 e Mistral grande
Isso é uma loucura por ser barato e rápido https://t.co/XWmvTE6h75 pic.twitter.com/fAwzJScLTH— Nick Dobos (@NickADobos) 26 de março de 2024
A ascensão de Claude 3 ao topo da tabela de classificação não é apenas uma vitória para a Anthropic, mas também sinaliza uma mudança mais ampla na indústria de IA em direção à diversidade e à inovação. Simon Willison, pesquisador independente de IA, destacou a importância de ter modelos de ponta de diferentes fornecedores, ressaltando os benefícios da concorrência e da diversidade no espaço de IA.
Olhando para o Futuro: O Futuro dos Modelos de IA
Apesar do sucesso recente de Claude 3, a indústria de IA permanece altamente dinâmica, e espera-se que a OpenAI lance novas atualizações ou sucessores do GPT-4. Este desenvolvimento contínuo sugere que a competição entre os modelos de IA continuará a ser acirrada, impulsionando novos avanços e potencialmente levando a mais mudanças nas classificações, como as vistas no Chatbot Arena.
O sucesso de Claude 3 Opus e a atenção que obteve da comunidade de IA reflete a natureza em rápida evolução da tecnologia de IA. À medida que os modelos continuam a melhorar e novos participantes entram no mercado, o cenário dos modelos de linguagem de IA deverá permanecer competitivo e inovador, oferecendo novas ferramentas e capacidades para usuários e desenvolvedores.
