Os pesquisadores da
Alibaba introduziram o Zerosearch, uma estrutura pioneira definida para redefinir como os grandes modelos de linguagem (LLMS) adquirem habilidades de recuperação de informações. Este novo sistema treina IA para simular as interações dos mecanismos de pesquisa, aprendendo efetivamente a”Google em si”sem o preço alto das chamadas de API comercial ao vivo. O desenvolvimento, detalhado em artigo científico Pode diminuir dramaticamente a barreira para a criação de sistemas de AI avançados de que a referência de informações autônomas. LLMs aprimorados por busca por 88 %, segundo os pesquisadores. Isso é conseguido ao desabafar a necessidade do que o artigo de pesquisa descreve como “lançamentos frequentes, envolvendo potencialmente centenas de milhares de solicitações de pesquisa, que incorrem em despesas substanciais da API e restringem severamente a escalabilidade. src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-fficial-alibaba-scaled.jpg”>
As implicações são mais compridas, mais altas e potencialmente democratizando o desenvolvimento de AI, com os assistentes, tornando-se mais avançados. A Alibaba Cloud declarou sobre a abordagem:”Criamos um sistema em que os LLMs podem desenvolver habilidades de pesquisa por meio da simulação, eliminando a necessidade de pesquisas no mundo real intensivas em recursos”. Eles acrescentaram: “Isso torna a IA avançada mais acessível a organizações de todos os tamanhos”. e o oficial Página do projeto Zerosearch , promovendo mais amplos pesquisas de adoção e maiologia
Essa degradação controlada da qualidade da informação permite que a IA primeiro mestre mestre em mecânica de pesquisa e formatos de saída. Posteriormente, aprende a navegar por paisagens de informações mais complexas e ambíguas. O aprendizado do sistema é guiado por um mecanismo de recompensa com base em uma pontuação de F1, com foco na precisão das respostas geradas a partir dos resultados de pesquisa simulados. Experiências abrangentes em sete major conjuntos de dados de resposta a perguntas Demonstraram seus recursos. De acordo com a cobertura do VentureBeat, A Parâmetro de 7 bilhões de zerosearch Module ainda mais, um desempenho comparável ao Google. href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”Target=”_ Blank”> Versão do parâmetro de 14 bilhões Supostamente superou a pesquisa no Google. A própria página do Projeto Zerosearch afirma que “o mecanismo de simulação 7B de ajuste fino (SFT-7B) alcança desempenho comparável ao da pesquisa do Google, enquanto a variante 14B (SFT-14B) o supera.”Nos testes de referência, o modelo 7B da Zerosearch marcou 33.06 e seu modelo 14B pontuou 33.97, ambos superando a pontuação do Google de 32,47.
As vantagens financeiras são uma pedra angular do apelo de Zerosearch. A análise de custos da equipe do Alibaba, detalhada em seu artigo ARXIV, ilustra que o treinamento com aproximadamente 64.000 consultas de pesquisa usando Pesquisa do Google via serpapi custaria cerca de US $ 586.70. Por outro lado, o uso de uma simulação de parâmetros de 14B com Zerosearch em quatro GPUs A100 custa apenas US $ 70,80-uma redução de 88% nas despesas relacionadas à API. Essa eficiência de custo é compatível com várias famílias de modelos, incluindo Qwen-2.5 e LLAMA-3.2, com recursos disponíveis em Democratizando a IA avançada e as perspectivas futuras
a capacidade da Zerosearch de treinar recursos potentes de pesquisa sem a dependência direta de APIs de mecanismo de pesquisa externa apresenta uma mudança significativa. Ele aborda diretamente dois grandes obstáculos no desenvolvimento de LLMs de pesquisa com agiota: a”qualidade não controlada do documento”e os”custos de API proibitivamente altos”associados aos métodos tradicionais de treinamento de RL que usam mecanismos de pesquisa ao vivo, conforme descrito no resumo do projeto. A liberação de código aberto via Github é fundamental para um envolvimento e inovação mais amplos da comunidade. Enquanto a estrutura da Zerosearch requer recursos de GPU para a simulação LLM, uma limitação reconhecida pelos pesquisadores em seu artigo-“A implantação da pesquisa simulada LLM requer acesso aos servidores da GPU. Além disso, o Zerosearch também mostra uma capacidade única de controlar dinamicamente a qualidade do conteúdo. Por exemplo, a técnica DFLOAT11 oferece compactação sem perdas para pesos de LLM, enquanto os namms da Sakana AI se concentram na otimização da memória para contextos longos. O modelo AI híbrido BAMBA da IBM é outro exemplo, visando os limites de velocidade arquitetônica dos transformadores. A Zerosearch esculpe seu nicho ao combater especificamente os aspectos de custo de treinamento e controle de dados da construção de LLMs capazes de procurar, potencialmente tornando os mecanismos de pesquisa tradicionais menos indispensáveis para esta faceta do desenvolvimento da IA.