Um documento interno do Google supostamente vazado, que foi compartilhado por um indivíduo anônimo em um servidor público do Discord, sugere que o gigante das buscas está lutando contra a concorrência representada pela inteligência artificial (IA) de código aberto. De acordo com o documento compartilhado pelo Semianalysis, um site que fornece análises profundas da indústria de semicondutores, tanto o Google quanto o OpenAI correm o risco de serem superados por suas contrapartes de código aberto.
O documento vazado, que de acordo com a Semianalysis foi verificado como autêntico, diz:”Não temos fosso, nem o OpenAI”. Ele continua descrevendo os rápidos avanços feitos por projetos de IA de código aberto, que ultrapassaram o progresso do Google e da OpenAI nos últimos meses. O documento lista várias conquistas impressionantes da IA de código aberto, como a execução de modelos básicos em um Pixel 6 a 5 tokens por segundo, ajustar a IA personalizada em um laptop à noite e criar modelos multimodais em tempo recorde.
“Google e OpenAI não estão posicionados para vencer a corrida armamentista de IA”
O autor do documento argumenta que o Google e a OpenAI não estão posicionados para vencer a “corrida armamentista” da IA e que as empresas devem aprender e colaborar com projetos de código aberto. Eles sugerem que as pessoas não pagarão por modelos restritos quando alternativas gratuitas e irrestritas de qualidade comparável estiverem disponíveis. Além disso, o documento enfatiza a necessidade de iteração rápida, afirmando que modelos menores com menos parâmetros podem ser desenvolvidos mais rapidamente e são mais eficazes.
O suposto vazamento também destaca o impacto da IA de código aberto na comunidade em geral, com o lançamento de Modelo LLaMA da Meta provocando uma onda de inovação e colaboração entre pesquisadores e desenvolvedores. Esse fenômeno foi apelidado de “momento de difusão estável” para modelos de linguagem grande (LLMs), com o rápido progresso de projetos de IA de código aberto superando grandes players do setor.
“O Google deve se concentrar na comunidade de código aberto”
O autor do documento sugere que diretamente competir com IA de código aberto é uma proposta perdida e que o Google deveria se estabelecer como líder na comunidade de código aberto. Eles argumentam que possuir o ecossistema como o Google fez com o Chrome e o Android forneceria valor e controle significativos sobre a direção da inovação da IA. Para conseguir isso, o Google pode precisar publicar os pesos de pequenas variantes de modelo de linguagem universal (ULM) e cooperar com a comunidade de código aberto mais ampla.
As implicações do documento vazado podem afetar significativamente as futuras estratégias de negócios do Google e da OpenAI. Ambas as empresas podem precisar reavaliar sua abordagem de pesquisa e desenvolvimento de IA à luz dos rápidos avanços feitos por projetos de código aberto. Além disso, o Google e a OpenAI podem enfrentar uma pressão crescente para se tornarem mais transparentes e colaborativos com a comunidade de IA mais ampla.
Quanto à OpenAI, o documento sugere que eles também são vulneráveis aos mesmos desafios impostos pela IA de código aberto, com sua capacidade de manter uma vantagem. O documento vazado conclui afirmando que as alternativas de código aberto eventualmente eclipsarão o Google e o OpenAI, a menos que eles adaptem suas estratégias e se envolvam mais abertamente com a comunidade.
O texto completo do documento vazado (abaixo )
Importante: como escreve a Semianalysis,”o documento é apenas a opinião de um funcionário do Google, não de toda a empresa”. Como eles, não concordamos ou discordar do que está escrito abaixo e não pode garantir sua autenticidade da nossa parte.
Não temos fosso – E nem OpenAI
Fizemos muito olhando por cima dos ombros na OpenAI. Quem cruzará o próximo marco? Qual será o próximo passo?
Mas a verdade desconfortável é que não estamos posicionados para vencer esta corrida armamentista e nem OpenAI. Enquanto estávamos brigando, uma terceira facção estava comendo nosso almoço silenciosamente.
Estou falando, é claro, sobre código aberto. Em poucas palavras, eles estão nos superando. Coisas consideramos que os “grandes problemas em aberto” estão resolvidos e nas mãos das pessoas hoje. Só para citar alguns:
Embora nossos modelos ainda tenham uma ligeira vantagem em termos de qualidade, o gap está fechando surpreendentemente rápido. Os modelos de código aberto são mais rápidos, mais personalizáveis, mais privados e mais capazes. Eles estão fazendo coisas com parâmetros de US$ 100 e 13 bilhões com os quais lutamos com US$ 10 milhões e 540 bilhões. E eles estão fazendo isso em semanas, não meses. Isso tem profundas implicações para nós:
Não temos molho secreto. Nossa maior esperança é aprender e colaborar com o que outras pessoas estão fazendo fora do Google. Devemos priorizar a ativação de integrações 3P.
As pessoas não pagarão por um modelo restrito quando alternativas gratuitas e irrestritas forem comparáveis em qualidade. Devemos considerar onde realmente está nosso valor agregado.
Modelos gigantes estão nos atrasando. A longo prazo, os melhores modelos são aqueles
que podem ser iterados rapidamente. Devemos fazer pequenas variantes mais do que uma reflexão tardia, agora que sabemos o que é possível no regime de parâmetro <20B.
https://lmsys.org/blog/2023-03-30-vicuna/
Uma tremenda onda de inovação se seguiu, com apenas alguns dias entre os principais desenvolvimentos (ver The Timeline para o detalhamento completo). Aqui estamos, apenas um mês depois, e há variantes com ajuste de instrução, quantização, melhorias de qualidade , avaliações humanas, multimodalidade, RLHF, etc. etc., muitos dos quais se complementam.
Mais importante, eles resolveram o problema de dimensionamento na medida em que qualquer um pode mexer. Muitas das novas ideias são de pessoas comuns. A barreira de entrada para treinamento e experimentação caiu da produção total de uma grande organização de pesquisa para uma pessoa, uma noite e um laptop robusto.
Por que poderíamos ter previsto isso
Em ambos os casos, o envolvimento público de baixo custo foi possibilitado por um mecanismo muito mais barato para ajuste fino chamado adaptação de baixo escalão , ou LoRA, combinado com um avanço significativo em escala (difusão latente para síntese de imagem, Chinchilla para LLMs). Em ambos os casos, o acesso a um modelo de alta qualidade deu início a uma enxurrada de ideias e iterações de indivíduos e instituições em todo o mundo. Em ambos os casos, isso ultrapassou rapidamente os grandes players.
Essas contribuições foram fundamentais no espaço de geração de imagens, colocando a Stable Diffusion em um caminho diferente do Dall-E. Ter um modelo aberto levou a integrações de produtos, mercados, interfaces de usuário e inovações que não aconteceram com Dall-E.
O efeito foi palpável: dominação rápida em termos de impacto cultural versus a solução OpenAI, que se tornou cada vez mais irrelevante. Ainda não se sabe se o mesmo acontecerá com os LLMs, mas os elementos estruturais gerais são os mesmos.
Isso significa que, à medida que novos e melhores conjuntos de dados e tarefas se tornam disponíveis, o modelo pode ser mantido de forma barata até data, sem nunca ter que pagar o custo de uma execução completa.
Por outro lado, treinar modelos gigantes do zero não apenas joga fora o pré-treinamento, mas também quaisquer melhorias iterativas que foram feitas no topo. No mundo do código aberto, não demora muito para que essas melhorias dominem, tornando um retreinamento completo extremamente caro.
Devemos pensar se cada novo aplicativo ou ideia realmente precisa de um modelo totalmente novo. Se realmente temos grandes melhorias arquitetônicas que impedem a reutilização direta de pesos de modelo, devemos investir em formas mais agressivas de destilação que nos permitam reter o máximo possível das capacidades da geração anterior.
E devemos não espere ser capaz de recuperar o atraso. A internet moderna funciona com código aberto por um motivo. O código aberto tem algumas vantagens significativas que não podemos replicar.
Mas manter uma vantagem competitiva em tecnologia torna-se ainda mais difícil agora que a pesquisa de ponta em LLMs é acessível. Instituições de pesquisa em todo o mundo estão desenvolvendo o trabalho umas das outras, explorando o espaço de soluções de uma maneira ampla que supera em muito nossa própria capacidade. Podemos tentar manter nossos segredos firmemente enquanto a inovação externa dilui seu valor, ou podemos tentar aprender uns com os outros.
Quanto mais firmemente controlarmos nossos modelos, mais atraentes nos tornamos abertos alternativas.
O Google e a OpenAI gravitaram defensivamente em direção a padrões de lançamento que lhes permitem manter um controle rígido sobre como seus modelos são usados. Mas esse controle é uma ficção. Qualquer pessoa que pretenda usar LLMs para fins não sancionados pode simplesmente escolher entre os modelos disponíveis gratuitamente.
O Google deve se estabelecer como líder na comunidade de código aberto, assumindo a liderança cooperando com, em vez de ignorar, o conversa mais ampla. Isso provavelmente significa tomar algumas medidas desconfortáveis, como publicar os pesos do modelo para pequenas variantes ULM. Isso necessariamente significa abrir mão de algum controle sobre nossos modelos. Mas esse compromisso é inevitável. Não podemos esperar impulsionar a inovação e controlá-la.
E, no final, OpenAI não importa. Eles estão cometendo os mesmos erros que nós em sua postura em relação ao código aberto, e sua capacidade de manter uma vantagem está necessariamente em questão. Alternativas de código aberto podem e eventualmente irão eclipsá-los, a menos que mudem de postura. A esse respeito, pelo menos, podemos dar o primeiro passo.
24 de fevereiro de 2023 – LLaMA é lançado
De repente, qualquer um poderia ajustar o modelo para fazer qualquer coisa, chutando uma corrida para baixo em projetos de ajuste fino de baixo orçamento. Os jornais descrevem com orgulho seu gasto total de algumas centenas de dólares. Além disso, as atualizações de classificação baixa podem ser distribuídas facilmente e separadamente dos pesos originais, tornando-os independentes da licença original da Meta. Qualquer pessoa pode compartilhá-los e aplicá-los.
18 de março de 2023 – Agora é rápido
Notavelmente, eles conseguiram usar dados do ChatGPT enquanto contornavam as restrições em sua API – Eles simplesmente amostraram exemplos de diálogos”impressionantes”do ChatGPT postados em sites como ShareGPT.
28 de março de 2023 – Open Source GPT-3 28 de março de 2023 – Treinamento multimodal em uma hora 3 de abril de 2023 – Humanos reais não conseguem dizer a diferença entre um modelo aberto 13B e ChatGPT
Eles dê o passo crucial de medir as preferências humanas reais entre seu modelo e o ChatGPT. Embora o ChatGPT ainda tenha uma pequena vantagem, mais de 50% das vezes os usuários preferem Koala ou não têm preferência. Custo de treinamento: US$ 100.
