A Dell fez parceria com Meta para facilitar a implementação do modelo de linguagem grande (LLM) Llama 2 no local para seus clientes. Esta colaboração visa reduzir a dependência do acesso baseado na nuvem e passar a utilizar infraestruturas de TI de nível empresarial. A Dell se posiciona para se tornar o fornecedor preferencial de equipamentos necessários para essa transformação.
Projeto validado para IA generativa é fundamental para esta iniciativa. Esta extensa e pré-testada construção de hardware, lançada este ano, aproveita os recursos de fabricação de GPU da Nvidia. A Dell amplia ainda mais o suporte por meio de orientações de implantação e configuração, reduzindo significativamente o prazo de implementação para os clientes. Um componente integral desse suporte é a integração dos modelos Llama 2 nas ferramentas de dimensionamento de sistema da Dell, facilitando uma configuração personalizada para atender aos requisitos do cliente.
O diretor de IA da Dell, Jeff Boudreau, expressou seu otimismo em relação a essa colaboração em uma declaração preparada: “Os modelos de IA generativa, incluindo o Llama 2, têm o potencial de transformar a forma como as indústrias operam e inovam. Estamos nos esforçando para tornar o GenAI mais acessível a todos os clientes, fornecendo orientações detalhadas de implementação em sinergia com a infraestrutura ideal de software e hardware para implantações de todos os tamanhos.”
Modelo de linguagem Llama 2: parâmetros e tamanhos
O modelo Llama 2 foi lançado em julho como um modelo abrangente conjunto de modelos de linguagem, pré-ajustados e refinados para utilização. O modelo vem em tamanhos variados com parâmetros variados — 7 bilhões, 13 bilhões e 70 bilhões, cada um exigindo diferentes requisitos de hardware. Embora esse modelo possa ser baixado gratuitamente para fins acadêmicos, algum uso comercial também é permitido. A Meta já havia colaborado com outros gigantes da tecnologia, Microsoft e Amazon, para disponibilidade nas plataformas de nuvem Azure e AWS.
Apesar de sua utilidade, a classificação do modelo Llama 2 como código aberto modelo tem sido objeto de debate. A principal razão é a sua indisponibilidade sob uma licença endossada pela Open Source Initiative (OSI). A Meta afirma ser aberta sobre sua IA, oferecendo uma licença comunitária para o Llama 2. Ela acredita que a abertura leva a mais inovação e segurança na IA. A empresa convida a comunidade a testar o Code Llama, encontrar problemas e corrigi-los.
Mas um estudo recente diz que a Meta e outras empresas não são realmente abertas sobre seus modelos de IA. O estudo, realizado por especialistas em IA da Universidade Radboud em Nijmegen, Holanda, mostra que alguns dos LLMs de IA mais fortes estão ocultos do público, porque o código que os treinou não é compartilhado.
O estudo chama OpenAI e Meta como os fabricantes de LLM mais fechados e diz que isso prejudica a comunidade de IA. Ele exige mais honestidade e abertura das empresas, para que outros possam aprender com seu trabalho e torná-lo melhor.
Projetos validados e requisitos de hardware da Dell
Revelados em agosto, os designs validados para IA generativa da Dell combinam a experiência em kits de servidores da empresa com as proezas e software de GPU da Nvidia, como o pacote AI Enterprise da Nvidia. Juntamente com esta oferta, a empresa estende a assistência profissional para garantir que os clientes obtenham o máximo de benefícios das aplicações de IA generativa.
Os designs validados são particularmente eficazes na inferência de trabalhos que envolvem atividades como geração de linguagem natural, como chatbots, virtual assistência e criação de conteúdo de marketing. A Dell diversificou o portfólio para facilitar a personalização e o ajuste dos modelos.
Os pré-requisitos de hardware para o Llama 2 variam de acordo com o tamanho do modelo. Um modelo com 7 bilhões de parâmetros pode funcionar em uma única GPU. Ainda assim, um modelo com 13 bilhões de parâmetros necessita de duas GPUs, e uma variante de 70 bilhões de parâmetros requer oito GPUs. A Dell detalhou a implantação das versões 7 bilhões e 13 bilhões em seu sistema PowerEdge R760xa em uma postagem recente no blog. No entanto, um sistema maior, como o servidor PowerEdge XE9680, é necessário para a versão de 70 bilhões devido à necessidade de oito GPUs.
