Heb je ooit gewenst dat je je favoriete video’s in high definition kon bekijken, zelfs als ze oorspronkelijk in lagere kwaliteit waren opgenomen? Nou, dat kan nu, dankzij een nieuwe functie waarmee we experimenteren in Edge Canary: video super resolutie (VSR).
Frame om 0:30 vanaf”Big Buck Bunny.”Linkerhelft VSR UIT, rechterhelft VSR AAN. Originele videocredits: © 2008, Blender Foundation/www.bigbuckbunny.org
Video-superresolutie maakt gebruik van machine learning om de kwaliteit van video die wordt bekeken in Microsoft Edge te verbeteren door agnostische algoritmen voor grafische kaarten te gebruiken om blokkerige compressie-artefacten te verwijderen en de videoresolutie op te schalen, zodat u kunt genieten van scherpe en heldere video’s op YouTube en andere videostreamingplatforms zonder bandbreedte op te offeren.
Vanwege de rekenkracht die nodig is om video’s op te schalen, wordt video-superresolutie (VSR) momenteel aangeboden wanneer aan de volgende voorwaarden wordt voldaan:
Het apparaat heeft een van de volgende grafische kaarten (GPU’s): Nvidia RTX 20/30/40 serie OF AMD RX5700-RX7800 serie GPU’s. [1] De video wordt afgespeeld met een resolutie van minder dan 720p. Het apparaat werkt niet op batterijvoeding. Zowel de hoogte als de breedte van de video zijn groter dan 192 pixels. De video is niet beveiligd met Digital Rights Management-technologieën zoals PlayReady of Widevine. Frames van deze beveiligde video’s zijn niet toegankelijk voor de browser voor verwerking.
[1] Opmerking: we werken aan automatische hybride GPU-ondersteuning voor laptops met meerdere GPU’s. Ondertussen kunt u VSR proberen door de Windows-instellingen te wijzigen om Edge te dwingen op uw afzonderlijke GPU te werken.
Video-superresolutie wordt automatisch ingeschakeld door Edge en aangegeven door een HD-pictogram op het adres. De functie kan rekenintensief zijn, dus met dit pictogram heeft een gebruiker de volledige controle over het in-of uitschakelen van de functie.
Er wordt een”HD”-pictogram weergegeven in de adresbalk wanneer video-superresolutie is ingeschakeld voor de huidige video.
Beschikbaarheid
Zoals opgemerkt hierboven zijn we begonnen met experimenteren met een klein aantal klanten in het Canarische kanaal en we zullen deze functie de komende weken beschikbaar blijven maken voor meer klanten. We kijken er ook naar uit om de lijst met ondersteunde grafische kaarten in de toekomst uit te breiden.
Achter de schermen
Laten we wat aanvullende details bekijken over hoe video super resolutie, of VSR, achter de schermen werkt.
ONNX Runtime en DirectML
h3>
VSR in Microsoft Edge bouwt voort op ONNX Runtime en DirectML maken onze oplossing draagbaar voor alle GPU-leveranciers en VSR beschikbaar maken voor meer gebruikers. Extra grafische kaarten die deze technologieën ondersteunen en voldoende rekenkracht hebben zullen in de toekomst ondersteuning krijgen. De ONNX Runtime-en DirectML-teams hebben hun technologie gedurende vele jaren verfijnd, waardoor VSR de prestaties en mogelijkheden van de verwerkingskracht van uw grafische kaart optimaal benut. ONNX Runtime zorgt voor het laden van ML-modellen die zijn verpakt als.onnx-bestanden en maakt gebruik van DirectML, dat de optimalisatie en evaluatie van de ML-werklast afhandelt door gebruik te maken van de beschikbare GPU-mogelijkheden, zoals de native ML-tensorverwerking om de maximale uitvoeringsdoorvoer bij een hoge framerate te bereiken.
Machine learning-modellen opslaan
Om schijfruimte te besparen, worden de componenten en modellen die VSR vereist alleen aan uw apparaat toegevoegd wanneer we een compatibele GPU detecteren. De aanwezigheid van een component met de naam”Edge Video Super Resolution”bij een bezoek aan edge://components/in Edge Canary is een signaal dat uw GPU wordt ondersteund door de video-superresolutiefunctie. Met deze op componenten gebaseerde benadering kunnen we specifieke en meerdere modellen verzenden gebaseerd op apparaatcapaciteit en prestaties.
DirectX 11 Interop met DirectML
Om VSR te ondersteunen, hebben we een nieuwe DX12-presentatiepijplijn gebouwd in Microsoft Edge. Chromium, waarop Microsoft Edge is gebouwd , gebruikt DX11 voor videodecodering/rasterisatie en genereert DX11-texturen na videodecodering. DirectML daarentegen werkt alleen met DX12-buffers. Ter ondersteuning van VSR hebben we een nieuwe flexibele DX12-pijplijn ingebouwd in de Chromium-engine die is ingebed in Microsoft Edge. Onze nieuwe pipeline voert de shaders uit om DX11-texturen om te zetten in DirectML-buffers/-tensors voor gebruik met ONNX Runtime.
Videoverbetering in-of uitschakelen
Video-superresolutie kan op elk moment worden uitgeschakeld door op de HD-pictogram in het adres b ar en selecteer de schakelaar voor Video’s verbeteren:
Het uitschakelen van video-superresolutie blijft behouden voor alle sites in Edge-voorkeuren. Hiermee worden ook alle video-superresolutiefuncties hersteld die worden ondersteund door het stuurprogramma van de grafische kaart op uw systeem. Als u uw voorkeuren voor de functie wilt wijzigen of feedback wilt geven, kunt u de schakelaar en de feedbackknoppen vinden door naar edge://settings/system in uw Edge-browser te gaan.
Videokwaliteitsverbeteringen
Alle bovenstaande details zouden er niet toe doen als we dat niet deden geweldige resultaten hebben. Laten we beginnen met enkele vergelijkingen van 360p-video’s met onze huidige modellen:
