Stabiliteit AI heeft introduceerde twee innovatieve modellen voor kunstmatige intelligentie, bekend als Stabiele videodiffusie (SVD) en SVD-XT, wat een belangrijke ontwikkeling markeert op het gebied van Technologie voor het genereren van AI-video’s.
Innovatie in het genereren van AI-video’s
De nieuwe modellen vertegenwoordigen een nieuwe benadering voor het maken van korte videoclips van statische beelden. Zowel SVD als SVD-XT maken gebruik van latente diffusietechnieken om video’s te genereren van 576 bij 1024 pixels groot met framesnelheden variërend van drie tot 30 frames per seconde. Het SVD-model kan 14 frames uit één enkel stilstaand beeld produceren, terwijl SVD-XT maximaal 25 frames kan creëren.
Het creëren van visuele inhoud verbeteren
Stability AI heeft deze modellen getraind met behulp van een substantiële dataset bestaande uit ongeveer 600 miljoen videofragmenten. Daaropvolgende verfijning werd uitgevoerd met behulp van een hoogwaardige dataset met maximaal een miljoen videoclips. Dit nauwgezette trainingsproces is gericht op downstream-taken zoals tekst-naar-video-en beeld-naar-video-transformaties. Deze taken omvatten het voorspellen van een reeks frames op basis van een enkel conditioneringsbeeld. De verfijnde modellen zijn veelbelovend voor toepassingen in de reclame-, onderwijs-en entertainmentsector, omdat ze meerdere consistente weergaven van een object kunnen genereren uit één enkel stilstaand beeld.
[embedded content]
Gemeenschapsgerichte ontwikkeling
Ondanks enthousiaste reacties van externe beoordelaars van de kwaliteit van de SVD-output erkent het bedrijf dat er verbeterpunten zijn. Momenteel kunnen de modellen tekortkomingen vertonen bij het bereiken van fotorealisme en kunnen ze video’s produceren met minimale beweging. Ook de representatie van gezichten en mensen brengt uitdagingen met zich mee. Om deze beperkingen aan te pakken heeft Stability AI de beeld-naar-video-modellen vrijgegeven voor onderzoeksdoeleinden als onderdeel van een onderzoekspreview. Ze zijn van plan feedback uit de gemeenschap te gebruiken om de modellen verder te verfijnen.
De inzet van Stability AI voor gemeenschapsparticipatie strekt zich uit tot hun benadering van modelontwikkeling. Het bedrijf heeft de broncode voor de modellen beschikbaar gesteld op GitHub, waarbij de vereiste modelgewichten worden gehost op het Hugging Face-platform. De gebruiksvoorwaarden schetsen acceptabele gebruiksscenario’s, waaronder het maken van illustraties en toepassingen in het onderwijs en de creativiteit, maar sluiten het genereren van feitelijke representaties van gebeurtenissen en mensen uit.
In een poging om de toegankelijkheid en gebruikersbetrokkenheid uit te breiden, is Stabiliteit AI is van plan een webervaring te lanceren waarmee gebruikers video’s kunnen genereren op basis van tekstprompts. Hoewel de tijdlijn voor de beschikbaarheid van deze dienst nog niet bekendgemaakt is, suggereren de strategische stappen van het bedrijf richting het perfectioneren en commercialiseren van deze modellen een bredere ambitie om de toekomst van op AI gebaseerde videogeneratie vorm te geven.
