Meta lançou o Code Llama, um modelo de linguagem grande (LLM) de última geração projetado para gerar código, marcando um passo significativo no domínio da codificação assistida por IA. Com o lançamento do Code Llama, Meta visa aprimorar os fluxos de trabalho dos desenvolvedores, tornando-os mais eficientes e reduzindo tarefas repetitivas. Espera-se que a ferramenta reduza a barreira para os novatos na codificação e sirva como um recurso valioso para desenvolvedores experientes.
O Code Llama competirá com ferramentas de codificação de IA existentes, como o Codex da OpenAI e o GitHub Copilot. A Meta construiu a ferramenta com base no Llama 2 e a oferece em três variações: o modelo de código básico, uma versão especializada em Python e uma versão de instrução ajustada para a compreensão de instruções em linguagem natural.
Em seu documento oficial anúncio, Meta descreve um conjunto de ferramentas orientadas por IA que ajudarão os programadores a automatizar e concluir tarefas com o modelo Code Llama:
Especialização de código: Meta’s diz que projetou o Code Llama como uma versão “especializada em código”do Llama 2. Ele pode gerar código, completar código, criar notas de desenvolvedor, documentação e até mesmo ajudar na depuração. O modelo oferece suporte a várias linguagens de programação, incluindo Python, C++, Java, PHP, Typescript (Javascript), C# e Bash. Variações do modelo: Meta lançou três tamanhos de Code Llama, com parâmetros 7B, 13B e 34B. Cada modelo passou por treinamento com 500 bilhões de tokens de código e dados relacionados ao código. Os modelos 7B e 13B atendem a tarefas que exigem baixa latência, como conclusão de código em tempo real, enquanto o modelo 34B fornece os melhores resultados para assistência de codificação. Contexto Estendido: Todos os modelos podem lidar com até 100.000 tokens de contexto, permitindo que os usuários forneçam mais contexto de sua base de código para tornar o código gerado mais relevante. Esse recurso é especialmente benéfico para depuração em bases de código maiores. Variações ajustadas: Meta introduziu duas variações adicionais de Code Llama: Code Llama – Python e Code Llama – Instruct. Eles projetaram a versão Python especificamente para código Python, enquanto a versão Instruct visa compreender melhor as instruções em linguagem natural.
Nos testes de benchmark, o Code Llama superou outros LLMs disponíveis publicamente em tarefas de código. Especificamente, o modelo 34B obteve 53,7% em HumanEval e 56,2% em Mostly Basic Python Programming (MBPP), correspondendo ao desempenho do ChatGPT. Meta também enfatizou a importância de construir modelos de IA de forma responsável e destacou seus esforços para garantir a segurança do Code Llama. Como parte de suas medidas de segurança, eles avaliaram o risco do Code Llama de gerar código malicioso e descobriram que ele fornecia respostas mais seguras em comparação com outros modelos.
Abordagem Aberta e Licenciamento
Meta adota uma abordagem aberta à IA, lançando o Code Llama sob a mesma licença comunitária do Llama 2. Eles acreditam que uma abordagem aberta promove a inovação e a segurança no desenvolvimento da IA. A empresa incentiva a comunidade a avaliar os recursos do Code Llama, identificar possíveis problemas e resolver vulnerabilidades.
Algumas empresas afirmam estar “abrindo o código” de seus modelos de IA, entre eles o Meta, mas um estudo recente mostra que isso não é realmente verdade. O estudo, conduzido por pesquisadores de IA da Universidade Radboud em Nijmegen, Holanda, revela que alguns dos LLMs de IA generativos mais poderosos não são de código aberto, porque o código usado para treiná-los não é compartilhado com o público.
O estudo critica OpenAI e Meta por serem os mais secretos Produtores de LLM e afirma que isso é prejudicial para a comunidade de IA. Ele pede mais transparência e abertura por parte das empresas, para que outras possam aprender com seu trabalho e melhorá-lo.
O estudo examina vários LLMs e os classifica sobre quão abertos eles são, com base em critérios diferentes. O LLM com classificação mais baixa é o ChatGPT da OpenAI, que atende apenas a dois dos critérios: possui um documento e um artigo que descrevem suas características e limitações, mas são muito vagos e pouco claros. O LLaMA 2, produzido pela Meta, é um pouco melhor que o ChatGPT, mas ainda muito fechado. Ela não atende à maioria dos critérios de abertura.
Opções crescentes no mercado de codificação de IA
As grandes empresas de tecnologia estão investindo bastante em pesquisa e desenvolvimento em ferramentas de codificação de IA. Na verdade, nos últimos meses, temos visto um aumento em novos modelos de IA para codificação, incluindo:
Uma das ferramentas mais proeminentes é o GitHub Copilot, um projeto conjunto entre a Microsoft e a OpenAI que usa GPT-4 para gerar sugestões de código. com base nas entradas dos usuários. GitHub Copilot é desenvolvido com OpenAI Codex, um modelo de linguagem generativo pré-treinado criado pela OpenAI. No início deste ano, o GitHub mostrou sua visão de futuro com o GitHub Copilot X, que se integra ao GPT-4 da OpenAI. Outra ferramenta que recebeu investimento de capital da Microsoft é a Builder.ai, uma empresa de software de IA que oferece o gerente de produtos Natasha AI por meio do Microsoft Teams. Builder.ai e GitHub Copilot são dois tipos diferentes de ferramentas baseadas em IA para desenvolvimento de software. Builder.ai é uma plataforma sem código que permite aos usuários criar aplicativos escolhendo vários modelos e recursos, sem escrever nenhum código. O Google também fez parceria com o Replit para oferecer o Ghostwriter, uma ferramenta de IA que ajuda os desenvolvedores a escrever código. A parceria também dá aos desenvolvedores do Replit acesso ao Google Cloud e vice-versa. Além disso, o Google trouxe a geração e depuração de código para seu chatbot Bard AI. Os usuários podem escrever suas perguntas ou solicitações de codificação em linguagem natural, e Bard irá gerar vários rascunhos de possíveis respostas para eles escolherem. A Amazon lançou o CodeWhisperer, uma ferramenta gratuita de IA que concorre com o GitHub Copilot. Ele funciona com linguagens Python, JavaScript e Java e se integra a IDEs populares como PyCharm e Visual Studio Code. Ajuda os usuários a escrever código de maneira mais rápida e fácil. CodeWhisperer é integrado a serviços e ferramentas AWS, como Lambda, CloudFormation e Amplify. Em maio, a Meta introduziu o CodeCompose, uma ferramenta alimentada por IA que oferece sugestões de código para várias linguagens, incluindo Python, à medida que os desenvolvedores digitam em ambientes de desenvolvimento integrados (IDEs), como o VS Code. A ferramenta pode utilizar sua compreensão do código circundante para fornecer sugestões aprimoradas. A empresa chinesa Baidu também está competindo nesse espaço com sua própria IA de codificação. O Comate é compatível com as principais estruturas do Ambiente de Desenvolvimento Integrado (IDE) e oferece suporte a mais de 30 linguagens de programação, com forte ênfase em C/C++, Python e Java. OverflowAI é uma solução de codificação de IA da Stack Overflow lançada no mês passado. OverflowAI é uma ferramenta baseada na Web que permite aos usuários inserir consultas em linguagem natural e obter trechos de código gerados por um modelo de aprendizado profundo treinado em milhões de postagens do Stack Overflow e Outras fontes. A plataforma oferece suporte a várias linguagens de programação, como Python, C#, Java e SQL, e pode lidar com tarefas como análise de dados, desenvolvimento web, aprendizado de máquina e muito mais.