Czy kiedykolwiek żałowałeś, że nie możesz oglądać swoich ulubionych filmów w wysokiej rozdzielczości, nawet jeśli zostały pierwotnie nagrane w niższej jakości? Cóż, teraz możesz, dzięki nowej funkcji, z którą eksperymentujemy w Edge Canary: wideo w super rozdzielczości (VSR).
Klatka 0:30 z „Big Buck Bunny.”Lewa połowa VSR wyłączona, prawa połowa VSR włączona. Oryginalne źródła wideo: © 2008, Blender Foundation/www.bigbuckbunny.org
Superrozdzielczość wideo wykorzystuje uczenie maszynowe do poprawy jakości wideo oglądanego w przeglądarce Microsoft Edge za pomocą algorytmów niezależnych od karty graficznej w celu usunięcia blokowych artefaktów kompresji i przeskalowania rozdzielczości wideo, dzięki czemu można cieszyć się ostrymi i wyraźnymi filmami w YouTube i innych platformach do strumieniowego przesyłania wideo bez poświęcania przepustowości.
Ze względu na moc obliczeniową wymaganą do przeskalowania filmów wideo w super rozdzielczości (VSR) jest obecnie oferowane, gdy spełnione są następujące warunki:
Urządzenie ma jedną z następujących kart graficznych (GPU): Nvidia RTX 20 Procesory graficzne z serii/30/40 LUB AMD RX5700-RX7800. [1] Film jest odtwarzany w rozdzielczości mniejszej niż 720p. Urządzenie nie jest zasilane z baterii. Zarówno wysokość, jak i szerokość filmu są większe niż 192 piksele. Film nie jest chroniony technologiami Digital Rights Management, takimi jak PlayReady czy Widevine. Klatki z tych chronionych filmów nie są dostępne dla przeglądarki do przetworzenia.
[1] Uwaga: Pracujemy nad automatyczną obsługą hybrydowych procesorów graficznych dla laptopów z wieloma procesorami graficznymi. W międzyczasie możesz wypróbować VSR, zmieniając ustawienia systemu Windows, aby wymusić uruchomienie Edge’a na twoim oddzielnym GPU.
Super rozdzielczość wideo jest automatycznie włączana przez Edge i wskazywana przez ikonę HD na adresie. Ta funkcja może wymagać dużej mocy obliczeniowej, więc ta ikona daje użytkownikowi pełną kontrolę nad włączaniem i wyłączaniem tej funkcji.
Ikona „HD” jest wyświetlana na pasku adresu, gdy dla bieżącego filmu włączona jest super rozdzielczość wideo.
Dostępność
Jak zaznaczono powyżej, zaczęliśmy eksperymentować z niewielką grupą klientów w kanale Canary iw nadchodzących tygodniach będziemy nadal udostępniać tę funkcję kolejnym klientom. Nie możemy się również doczekać rozszerzenia listy obsługiwanych kart graficznych w przyszłości.
Za kulisami
Przejdźmy do dodatkowych szczegółów na temat tego, jak super rozdzielczość wideo, czyli VSR, działa za kulisami.
Środowisko wykonawcze ONNX i DirectML
h3>
VSR w Microsoft Edge opiera się na ONNX Runtime i DirectML dzięki czemu nasze rozwiązanie jest przenośne dla różnych dostawców procesorów graficznych i udostępnienie VSR większej liczbie użytkowników. Dodatkowe karty graficzne obsługujące te technologie i dysponujące wystarczającą mocą obliczeniową otrzymają wsparcie w przyszłości. Zespoły ONNX Runtime i DirectML przez wiele lat dopracowywały swoją technologię, dzięki czemu VSR maksymalnie wykorzystuje wydajność i możliwości mocy obliczeniowej Twojej karty graficznej. ONNX Runtime obsługuje ładowanie modeli ML spakowanych jako pliki.onnx i używa DirectML, który obsługuje optymalizację i ocenę obciążenia ML, wykorzystując dostępne możliwości GPU, takie jak natywne przetwarzanie tensorowe ML, aby osiągnąć maksymalną przepustowość wykonywania przy dużej liczbie klatek na sekundę.
Przechowywanie modeli uczenia maszynowego
Aby zaoszczędzić miejsce na dysku, komponenty i modele wymagane przez VSR są dodawane do urządzenia tylko wtedy, gdy wykryjemy zgodny procesor graficzny. Obecność komponentu o nazwie „Edge Video Super Resolution” podczas odwiedzania edge://components/w Edge Canary jest sygnałem, że Twój GPU jest obsługiwany przez funkcję super rozdzielczości wideo. Takie podejście oparte na komponentach pozwala nam dostarczać określone i wiele modeli w oparciu o możliwości i wydajność urządzenia.
DirectX 11 Interop z DirectML
Aby obsługiwać VSR, stworzyliśmy nowy potok prezentacji DX12 w Microsoft Edge. Chromium, na którym zbudowano Microsoft Edge , używa DX11 do dekodowania/rasteryzacji wideo i generuje tekstury DX11 po zdekodowaniu wideo. Z drugiej strony DirectML działa tylko z buforami DX12. Aby obsługiwać VSR, zbudowaliśmy nowy elastyczny potok DX12 w silniku Chromium, który jest osadzony w Microsoft Edge. Nasz nowy potok uruchamia moduły cieniujące, aby przekonwertować tekstury DX11 na bufory/tensory DirectML do użytku z ONNX Runtime.
Włączanie lub wyłączanie ulepszeń wideo
Superrozdzielczość wideo można wyłączyć w dowolnym momencie, klikając przycisk Ikona HD w adresie b ar i wybierając przełącznik opcji Ulepsz filmy:
Wyłączenie superrozdzielczości wideo trwa nadal dla wszystkich witryn w preferencjach Edge. Spowoduje to również przywrócenie wszystkich funkcji super rozdzielczości wideo obsługiwanych przez sterownik karty graficznej w systemie. Aby zmienić preferencje dotyczące tej funkcji lub przesłać opinię, możesz znaleźć przyciski przełączania i opinii, przechodząc do edge://settings/system w przeglądarce Edge.
Poprawa jakości wideo
Wszystkie powyższe szczegóły nie miałyby znaczenia, gdybyśmy nie mieć świetne wyniki. Zacznijmy od porównania filmów 360p z naszymi obecnymi modelami:
