Você já desejou poder assistir seus vídeos favoritos em alta definição, mesmo que eles tenham sido originalmente gravados em qualidade inferior? Bem, agora você pode, graças a um novo recurso que estamos experimentando no Edge Canary: super resolução de vídeo (VSR).
Frame em 0:30 de “Big Buck Bunny.”Metade esquerda VSR OFF, metade direita VSR ON. Créditos do vídeo original: © 2008, Blender Foundation/www.bigbuckbunny.org
A super resolução de vídeo usa aprendizado de máquina para melhorar a qualidade do vídeo visualizado no Microsoft Edge usando algoritmos independentes de placa gráfica para remover artefatos de compactação em blocos e aumentar a resolução do vídeo, para que você possa desfrutar de vídeos nítidos e claros no YouTube e outras plataformas de streaming de vídeo sem sacrificar a largura de banda.
Devido ao poder de computação necessário para melhorar vídeos, a super resolução de vídeo (VSR) é oferecida atualmente quando as seguintes condições são atendidas:
O dispositivo possui uma das seguintes placas gráficas (GPUs): Nvidia RTX 20 GPUs da série/30/40 OU AMD RX5700-RX7800. [1] O vídeo é reproduzido com resolução inferior a 720p. O dispositivo não está funcionando com bateria. A altura e a largura do vídeo são maiores que 192 pixels. O vídeo não está protegido com tecnologias de gerenciamento de direitos digitais, como PlayReady ou Widevine. Os quadros desses vídeos protegidos não são acessíveis ao navegador para processamento.
[1] Observação: estamos trabalhando no suporte automático de GPU híbrida para laptops com várias GPUs. Enquanto isso, você pode experimentar o VSR alterando as configurações do Windows para forçar o Edge a ser executado em sua GPU discreta.
A super resolução de vídeo é ativada automaticamente pelo Edge e indicada por um ícone HD no endereço. O recurso pode ser computacionalmente intensivo, então este ícone permite que um usuário tenha controle total para habilitar ou desabilitar o recurso.
Um ícone”HD”é exibido na barra de endereço quando a super resolução de vídeo está ativada para o vídeo atual.
Disponibilidade
Conforme observado acima, começamos a experimentar com um pequeno grupo de clientes no canal Canary e continuaremos a disponibilizar esse recurso para outros clientes nas próximas semanas. Também esperamos expandir a lista de placas gráficas compatíveis no futuro.
Nos bastidores
Vamos entrar em alguns detalhes adicionais sobre como a super resolução de vídeo, ou VSR, funciona nos bastidores.
Tempo de execução ONNX e DirectML
h3>
O VSR no Microsoft Edge se baseia em ONNX Runtime e DirectML tornando nossa solução portátil entre fornecedores de GPU e permitindo que o VSR esteja disponível para mais usuários. Placas gráficas adicionais que suportam essas tecnologias e possuem capacidade de computação suficiente receberão suporte no futuro. As equipes ONNX Runtime e DirectML ajustaram sua tecnologia ao longo de muitos anos, resultando em VSR aproveitando ao máximo o desempenho e os recursos do poder de processamento da sua placa gráfica. O ONNX Runtime lida com o carregamento de modelos de ML empacotados como arquivos.onnx e usa DirectML, que lida com a otimização e avaliação da carga de trabalho de ML aproveitando os recursos de GPU disponíveis, como o processamento de tensor de ML nativo para obter a taxa de transferência máxima de execução em uma alta taxa de quadros.
Armazenando modelos de aprendizado de máquina
Para preservar o espaço em disco, os componentes e modelos exigidos pelo VSR são adicionados ao seu dispositivo apenas quando detectamos uma GPU compatível. A presença de um componente chamado”Edge Video Super Resolution”ao visitar edge://components/no Edge Canary é um sinal de que sua GPU é suportada pelo recurso de super resolução de vídeo. Essa abordagem baseada em componentes nos permite enviar modelos específicos e múltiplos com base na capacidade e no desempenho do dispositivo.
Interoperabilidade do DirectX 11 com DirectML
Para dar suporte ao VSR, criamos um novo pipeline de apresentação DX12 no Microsoft Edge. Chromium, no qual o Microsoft Edge foi desenvolvido , usa DX11 para decodificação/rasterização de vídeo e gera texturas DX11 após a decodificação de vídeo. DirectML, por outro lado, só funciona com buffers DX12. Para oferecer suporte a VSR, construímos um novo pipeline DX12 flexível no mecanismo Chromium incorporado ao Microsoft Edge. Nosso novo O pipeline executa os sombreadores para converter as texturas DX11 em buffers/tensores DirectML para uso com o ONNX Runtime.
Ativar ou desativar o aprimoramento de vídeo
A super resolução de vídeo pode ser desativada a qualquer momento clicando no botão ícone HD no endereço b ar e selecionando o botão para Aprimorar vídeos:
A desativação da super resolução de vídeo persiste para todos os sites nas preferências do Edge. Isso também restaurará todos os recursos de super resolução de vídeo suportados pelo driver da placa gráfica em seu sistema. Para alterar suas preferências para o recurso ou fornecer feedback, você pode encontrar os botões de alternância e feedback navegando até edge://settings/system em seu navegador Edge.
Melhorias na qualidade do vídeo
Todos os detalhes acima não importariam se não tivéssemos ter ótimos resultados. Vamos começar com algumas comparações de vídeos 360p com nossos modelos atuais:
