¿Alguna vez has deseado poder ver tus videos favoritos en alta definición, incluso si originalmente se grabaron en menor calidad? Bueno, ahora puedes, gracias a una nueva función con la que estamos experimentando en Edge Canary: la superresolución de video (VSR).
Fotograma a las 0:30 de”Big Buck Bunny.”Mitad izquierda VSR APAGADO, mitad derecha VSR ENCENDIDO. Créditos del video original: © 2008, Blender Foundation/www.bigbuckbunny.org
La superresolución de video utiliza el aprendizaje automático para mejorar la calidad del video visto en Microsoft Edge mediante el uso de algoritmos independientes de la tarjeta gráfica para eliminar los artefactos de compresión de bloques y mejorar la resolución del video, para que pueda disfrutar de videos nítidos y claros. en YouTube y otras plataformas de transmisión de video sin sacrificar el ancho de banda.
Debido a la potencia informática requerida para mejorar los videos, actualmente se ofrece superresolución de video (VSR) cuando se cumplen las siguientes condiciones:
El dispositivo tiene una de las siguientes tarjetas gráficas (GPU): Nvidia RTX 20 GPU de la serie/30/40 O AMD RX5700-RX7800. [1] El video se reproduce a menos de 720p de resolución. El dispositivo no funciona con batería. Tanto la altura como el ancho del video son mayores a 192 píxeles. El video no está protegido con tecnologías de gestión de derechos digitales como PlayReady o Widevine. El navegador no puede acceder a los fotogramas de estos videos protegidos para su procesamiento.
[1] Nota: Estamos trabajando en la compatibilidad automática con GPU híbrida para portátiles con varias GPU. Mientras tanto, puede probar VSR cambiando la configuración de Windows para obligar a Edge a ejecutarse en su GPU discreta.
Edge habilita automáticamente la superresolución de video y se indica mediante un ícono HD en la dirección. La característica puede ser computacionalmente intensiva, por lo que este ícono le permite al usuario tener el control total de habilitar o deshabilitar la característica.
Se muestra un ícono”HD”en la barra de direcciones cuando la súper resolución de video está habilitada para el video actual.
Disponibilidad
Como se indicó anterior, comenzamos a experimentar con un pequeño grupo de clientes en el canal Canary y continuaremos haciendo que esta función esté disponible para clientes adicionales en las próximas semanas. También esperamos expandir la lista de tarjetas gráficas compatibles en el futuro.
Detrás de escena
Veamos algunos detalles adicionales sobre cómo funciona la superresolución de video, o VSR, detrás de escena.
ONNX Runtime y DirectML
VSR en Microsoft Edge se basa en ONNX Runtime y DirectML hacen que nuestra solución sea portátil entre los proveedores de GPU y permitir que VSR esté disponible para más usuarios. Las tarjetas gráficas adicionales que admitan estas tecnologías y tengan suficiente potencia informática recibirán soporte en el futuro. Los equipos de ONNX Runtime y DirectML han perfeccionado su tecnología durante muchos años, lo que ha dado como resultado que VSR aproveche al máximo el rendimiento y las capacidades de la potencia de procesamiento de su tarjeta gráfica. ONNX Runtime maneja la carga de modelos de ML empaquetados como archivos.onnx y usa DirectML, que maneja la optimización y evaluación de la carga de trabajo de ML aprovechando las capacidades de GPU disponibles, como el procesamiento de tensor de ML nativo para lograr el máximo rendimiento de ejecución a una alta velocidad de fotogramas.
Almacenamiento de modelos de aprendizaje automático
Para conservar espacio en disco, los componentes y modelos que requiere VSR solo se agregan a su dispositivo cuando detectamos una GPU compatible. La presencia de un componente llamado”Edge Video Super Resolution”al visitar edge://components/en Edge Canary es una señal de que su GPU es compatible con la función de superresolución de video. Este enfoque basado en componentes nos permite enviar modelos específicos y múltiples según la capacidad y el rendimiento del dispositivo.
Interoperabilidad de DirectX 11 con DirectML
Para admitir VSR, hemos creado una nueva canalización de presentación DX12 en Microsoft Edge. Chromium, en el que se basa Microsoft Edge , usa DX11 para la decodificación/rasterización de video y genera texturas DX11 después de la decodificación de video. DirectML, por otro lado, solo funciona con búferes DX12. Para admitir VSR, creamos una nueva canalización DX12 flexible en el motor Chromium que está integrado en Microsoft Edge. Nuestro nuevo pipeline ejecuta los sombreadores para convertir texturas DX11 en búferes/tensores de DirectML para usar con ONNX Runtime.
Habilitar o deshabilitar la mejora de video
La súper resolución de video se puede deshabilitar en cualquier momento haciendo clic en el Icono HD en la dirección b ar y seleccionando la opción Mejorar videos:
La desactivación de la súper resolución de video persiste para todos los sitios en las preferencias de Edge. Esto también restaurará cualquier función de superresolución de video admitida por el controlador de la tarjeta gráfica en su sistema. Para cambiar sus preferencias para la función o proporcionar comentarios, puede encontrar los botones de alternancia y comentarios navegando a edge://settings/system en su navegador Edge.
Mejoras en la calidad del video
Todos los detalles anteriores no importarían si no lo hiciéramos tener grandes resultados. Comencemos con algunas comparaciones de videos de 360p con nuestros modelos actuales: