Kyle Corbitt, uma figura notável na indústria de tecnologia com experiência como diretor da Y Combinator, engenheiro do Google e cofundador da Emberall, tem compartilhou insights sobre os lançamentos futuros de dois modelos importantes de IA, GPT-5 e Llama 3. De acordo com Corbitt, que supostamente conversou com um engenheiro da Microsoft envolvido no desenvolvimento do GPT-6 para OpenAI , espera-se que o GPT-5 seja lançado no final de abril, com o Llama 3 da Meta em junho.
A dica chega apenas uma semana após relatos anteriores de que o GPT-5 estava quase concluído, com lançamento no verão em Pontos turísticos da OpenAI. Esses desenvolvimentos sugerem um rápido avanço nas tecnologias de IA, com previsão de que o Llama 3 supere as capacidades de seu antecessor, Mistral.
VAZAMENTOS DA LINHA DO TEMPO DO GPT-5 E LLAMA 3
Os rumores de maior confiança que ouvi são do final de abril para GPT-5 e início de junho para Llama 3 (espera-se que derrote Mistral em todos os tamanhos).
Alguém ouviu algo diferente? Responda no tópico para confirmar.
— Kyle Corbitt (@corbtt) 25 de março de 2024
Desafios técnicos e inovações
A conversa entre Corbitt e o engenheiro da Microsoft revelou detalhes intrigantes sobre os desafios enfrentados durante o desenvolvimento do GPT-6, particularmente em termos de infraestrutura de hardware. O engenheiro destacou dificuldades no provisionamento de “links de classe infinibanda” entre GPUs em diferentes regiões, um componente crítico para o treinamento eficiente de grandes modelos de IA.
A tentativa de centralizar o cluster de treinamento em uma região foi frustrada por a limitação de não ser possível implantar mais de 100.000 GPUs H100 sem arriscar a estabilidade da rede elétrica local. Essa anedota ressalta os imensos requisitos de energia e as complexidades logísticas envolvidas no desenvolvimento de tecnologias de IA de ponta.
Falei com um engenheiro da Microsoft sobre o projeto do cluster de treinamento GPT-6. Ele falou sobre a dificuldade que eles estão enfrentando ao provisionar links de classe infiniband entre GPUs em diferentes regiões.
Eu:”por que não apenas colocar o cluster em uma região?”
Ele:”Ah, sim, tentamos isso primeiro. Nós…— Kyle Corbitt (@corbtt) 25 de março de 2024
Implicações de mercado e perspectivas futuras
O potencial lançamento antecipado do GPT-5 e o subsequente lançamento do Llama 3 estão preparados para ter um impacto significativo implicações para o mercado de IA. A decisão da OpenAI de lançar o GPT-4 Turbo gratuitamente já estabeleceu um precedente para acessibilidade, e as próximas versões são ansiosamente aguardadas pela comunidade tecnológica e pelos usuários finais. O plano da Meta de lançar o Llama 3 em julho, embora possivelmente mais cedo, conforme sugerido pelas informações de Corbitt, indica um cenário competitivo onde as principais empresas de tecnologia estão competindo para ultrapassar os limites das capacidades de IA.
Esses desenvolvimentos não apenas destacam a rápida ritmo de inovação no sector da IA, mas também levantam questões sobre a sustentabilidade e o impacto ambiental de tais tecnologias avançadas. À medida que as empresas continuam a investir no desenvolvimento de modelos de IA mais poderosos e eficientes, o equilíbrio entre o avanço tecnológico e o consumo de recursos continua a ser uma consideração crítica.
