Meta AI heeft met succes een reeks AI-modellen ontwikkeld die zijn ontworpen om authentieke , realtime communicatie in meerdere talen. De suite, genaamd Seamless Communication, is bedoeld om taalkundige verschillen te overbruggen en het concept van een real-time universele vertaler mogelijk te maken. Meta introduceerde het onderzoek van SeamlessM4T voor het eerst in augustus en stelt het project nu open voor gebruikers.
Modellen worden samengevoegd voor realtime vertaling
Het Seamless Communication-systeem integreert drie neurale netwerkmodellen: SeamlessExpressive, SeamlessStreaming en SeamlessM4T v2. Deze geïntegreerde aanpak maakt vertalingen tussen meer dan 100 talen mogelijk, met een opmerkelijke focus op het behouden van de vocale stijl, emotie en prosodie van de originele stem.
SeamlessExpressive zorgt voor de overgang van emotionele en vocale subtiliteiten tussen talen, met als doel het behouden de vertaalde spraak is net zo expressief en natuurlijk als het origineel. Het doel is om verder te gaan dan de monotone uitvoer die kenmerkend is voor de huidige vertaalhulpmiddelen, en om de complexiteit van menselijke expressie te integreren.
SeamlessStreaming biedt een indrukwekkende capaciteit voor vrijwel onmiddellijke vertaling, met een latentie van slechts twee seconden. Door de onderzoekers bestempeld als het’eerste massaal meertalige model’, vertegenwoordigt het een aanzienlijke stap voorwaarts in de snelle vertaling van gesproken en geschreven taal.
SeamlessM4T v2 verfijnt de kern van het systeem en verbetert de consistentie tussen tekst en spraak. De integratie van deze modellen in Seamless biedt een uitgebreid platform voor realtime meertalige communicatie.
Impact en toegankelijkheid
De innovatieve modellen van Meta AI hebben het potentieel om dat niet te doen alleen voor het verbeteren van persoonlijke en zakelijke communicatie, maar ook voor de media, door mogelijkheden te bieden voor real-time conversatie via een slimme bril, evenals automatische nasynchronisatie van video’s en podcasts. Bovendien zou de technologie een cruciale rol kunnen spelen bij het helpen van immigranten en anderen die met taal te maken hebben barrières.
Echter, met het potentieel voor misbruik bij stemphishing en het genereren van bedrieglijke deep fakes, hebben de onderzoekers veiligheidsmaatregelen getroffen, waaronder audio-watermerken en technieken om valse giftige outputs te verminderen.
Open source voor betere samenwerking
In overeenstemming met Meta’s toewijding aan collaboratief en open onderzoek, zijn de modellen uitgebracht op Github, compleet met onderzoekspapers en gegevens. Deze stap geeft ontwikkelaars en onderzoekers over de hele wereld de kracht en moedigt ze aan om voort te bouwen op het fundamentele werk van Meta, waardoor vooruitgang wordt geboekt bij het slechten van taalbarrières.
De release is een bewijs van Meta’s leiderschap in de open source AI-arena en biedt een belangrijke bijdrage naar onderzoek naar natuurlijke taalverwerking, wat een transformatie belooft in machinaal ondersteunde meertalige communicatie.
ElevenLabs AI Dubbing Translation Technique
Meta is niet het enige bedrijf het verkennen van vertaling via AI. In oktober introduceerde ElevenLabs zijn AI Dubbing-functie. AI Dubbing is een geavanceerd product dat lange spraakinhoud in meer dan 20 talen kan vertalen. De oplossing is beschikbaar voor alle platformgebruikers en biedt een nieuwe manier om video-en audio-inhoud te kopiëren en een gebied te vernieuwen dat voornamelijk handmatig is gebleven.
