ElevenLabs, um startup criada por ex-funcionários do Google e Palantir, anunciou recentemente o lançamento do AI Dubbing, um produto avançado que pode traduzir conteúdo de fala de formato longo em mais de 20 idiomas. Disponível para todos os usuários da plataforma, a solução oferece uma nova maneira de dublar conteúdo de vídeo e áudio e renovar uma área que permaneceu predominantemente manual.
Mati Staniszewski, CEO e cofundador da ElevenLabs, afirmou que o o novo recurso foi desenvolvido e testado com a ajuda de centenas de criadores de conteúdo. O objetivo é tornar o conteúdo mais acessível para um público mais amplo, especialmente para criadores independentes que não têm meios para contratar tradutores para globalizar seu conteúdo.
Como funciona a dublagem com IA
Por baixo de múltiplas camadas de tarefas orientadas por IA, como remoção de ruído de fundo e tradução de fala, o AI Dubbing serve como uma ferramenta fácil de usar. Os usuários simplesmente selecionam a ferramenta AI Dubbing no ElevenLabs, criam um novo projeto, determinam os idiomas de origem e de destino e carregam o arquivo de conteúdo. Depois de carregada, a ferramenta identifica a quantidade de palestrantes e inicia o processo de transformação, que é acompanhado por uma barra de progresso na tela. Depois que o arquivo for totalmente processado, ele poderá ser baixado e usado.
[ conteúdo incorporado]
A ferramenta emprega um algoritmo proprietário da ElevenLabs para remover ruídos de fundo e diferenciar com precisão entre diálogo, música e outros sons. Ele também mantém a integridade da voz do locutor original, captura efetivamente suas emoções e garante o tempo apropriado para o discurso traduzido.
Vozes no horizonte baseadas em IA
Enquanto a ElevenLabs está ganhando atenção por seus desenvolvimentos, outros players de tecnologia, incluindo OpenAI e WellSaid Labs, também estão explorando a síntese de voz baseada em IA. Algumas empresas, como o Spotify, já estão aplicando esta tecnologia para permitir que Podcasters transcrevam seu conteúdo para diferentes idiomas, mantendo sua voz original.
Apesar da concorrência, Staniszewski está confiante na capacidade da ferramenta AI Dubbing da ElevenLabs. A ferramenta se diferencia por sua capacidade de traduzir conteúdo de áudio ou vídeo de formato longo de qualquer número de locutores, preservando suas vozes e emoções em até 20 idiomas e entregando resultados de alta qualidade.
De acordo com Market EUA, o mercado global para essas ferramentas foi avaliado em US$ 1,2 bilhão em 2022 e deverá atingir quase US$ 5 bilhões até 2032, crescendo a uma taxa anual de mais de 15,40%.
Uso de IA para gerar audiolivros
ElevenLabs está se tornando um grande contribuidor para ferramentas de IA de áudio. Em setembro, a empresa lançou uma solução de IA que gera audiolivros. Conhecida como Projetos, a ferramenta baseada em IA visa simplificar a geração e edição de áudio de formato longo, como audiolivros. Ele se baseia na pesquisa da empresa em síntese de fala de formato longo, condicionamento de áudio e geração de áudio paralelizado.
Em agosto, a empresa lançou uma IA de voz que suporta 30 idiomas. Eleven Multilingual v2 é um modelo que suporta vários idiomas, marcando um salto significativo na geração e clonagem de voz por IA. Os usuários da plataforma podem utilizar perfeitamente as renomadas ferramentas de conversão de texto em fala e clonagem de voz da ElevenLabs em toda essa gama linguística diversificada.
Em junho, o classificador de fala de IA da ElevenLabs foi lançado. Este foi um mecanismo de verificação pioneiro que permite aos usuários fazer upload de qualquer amostra de áudio para identificar se ela contém áudio gerado por IA. ElevenLabs destaca que o AI Speech Classifier tem até 99% de precisão ao lidar com uma amostra de áudio.