Рассматриваем улучшатель видео NVIDIA RTX VSR

Некоторое время назад компания NVIDIA открыла пользователям видеокарт RTX 30 и 40 серий доступ к технологии Video Super Resolution (VSR), которая позволяет улучшать видео в браузере на движке Chrome при помощи искусственного интеллекта, а самое главное тут то, что делается это в реальном времени. Если вы обладатель любой видеокарты RTX из 30 или 40 серии, то вам необходимо обновить драйвер графики до актуальной версии, обновить Chrome или Edge, а затем включить технологию через панель управления NVIDIA. Опция находится в пункте “Регулировка параметров изображения для видео”. Ставите галочку у “Сверхвысокое разрешение” и выбираете уровень качества от 1 до 4.

Если не хочется читать дальше, то рекомендую выставлять сразу 3 или 4, но уточню, что старшие видеокарты из серии RTX 30 порой могут из-за этого во время воспроизведения видео потреблять очень много энергии, вплоть до полного TDP видеокарты. При этом все RTX 40, которые у меня побывали за последнее время, для апскейла 720p или 1080p-видео в 4K требовали “всего” 80-85 Вт. На этом с предисловием все, и мы переходим к подробностям.

Переходим к осмотру

Материалы для данной статьи были собраны на видеокарте Palit GeForce RTX 4070 Ti GameRock OC, обзор которой вы можете найти вот по этой ссылке. При использовании VSR с максимальным качеством она потребляет 83 Вт энергии.

Начнем с того, что использовать эту технологию для видео в 4K с посредственным битрейтом не получится, к 4K VSR попросту не применяется. 1440p, к слову, апскейлить можно, но смысл в этом околонулевой, разве что сэкономить немного трафика при условии лимитного подключения к сети.

VSR и аниме

Наиболее выгодным сценарием использования спешу назвать просмотр аниме онлайн. Зачастую таковое на вполне определенных ресурсах сильно пожатое, и даже в 1080p выглядит, мягко говоря, плоховато. Да, если смотреть лицензию напрямую с Crunchyroll, то такой проблемы у вас определенно не будет, но сервис из России ушел, а потому все мы знаем, в каких местах теперь собираются анимешники из нашей страны.

В таком сценарии VSR позволяет заметно повысить четкость воспроизводимого контента и зачищает изображения от большей части артефактов пережатия. Без минусов, конечно, не обошлось, и отдельные элементы изображения могут выглядеть очень “акварельными”, что свойственно апскейлерам на основе ИИ. Нейросеть не понимает, что ей делать с этими элементами или перебарщивает с выделением линий и в итоге получает, скажем, вот такие странные линии и акварель.

Да, картинка с VSR определенно выглядит лучше, хоть линии и странные, что сильнее заметно в динамике, но к этому эффекту очень быстро привыкаешь и перестаешь замечать. В это же время пикселизированное изображение в оригинале смотреть больновато, а сглаженное нейросетью видео уже не выглядит таким уж странным.

Слева оригинал, справа VSR.

Есть, правда, у этого всего “но”, которое называется “не пережатый оригинал с торрента”. Отличий с версией после VSR в плане артефактов сжатия фактически нет, есть слабо заметная на расстоянии пикселизация из-за растягивания 1080p на 2160p, но видеокарта при этом кушает смешные 20 Вт для воспроизведения и тут мне уже сложно оправдать необходимость в просмотре онлайн с использованием VSR: скачал и смотри.

Оригинал и VSR соответственно.

В общем, для аниме онлайн без скачивания VSR отличная штука, которой можно без проблем простить акварельность отдельных элементов, а также редкое удаление деталей с изображения вроде клеточки на платье Вайолет вот в этой сцене. Очевидно, что ИИ воспринял клеточку за артефакт из-за ее очень слабой контрастности и решил от нее избавиться. Мелочь, но неприятно.

VSR и Twitch

Что же до применения VSR для более детализированного контента вроде игровых стримов на Twitch, который славится своим посредственным качеством картинки и на примере которого NVIDIA и демонстрировала работу своей технологии, то тут ситуация двоякая. Да, технология чистит изображение от артефактов, но делает это ценой той самой акварелизации картинки при апскейле даже из 1080p. Эффект хорошо заметный, но я бы все-таки сказал, что даже с ним все равно лучше, чем в оригинальном отвратном качестве с Twitch. Смехотворный битрейт при древнем кодеке просто не позволяет стримерам на этой площадке демонстрировать нормальное качество картинки, а ведь абсолютное большинство еще и стримят через NVENC или AMF, которые сами по себе хуже, чем x.264 в пресетах Slow и Very Slow. Да, для них обоих нужен серьезный процессор или вовсе отдельная стрим-машина, но с ними даже на Twitch картинка была бы уже вполне приемлемой, но заметно сглаживание мелких деталей и не контрастных градиентов.

Оригинал слева.

VSR и YouTube

На YouTube для контента с разрешением 1080p и выше использование VSR не несет абсолютно никакого смысла и ощущается больше, как фильтр резкости, который порой делает жуткие вещи с деталями на изображении. Вроде демонтажа границы между рубашкой и футболкой на вот этом гражданине.

Также не могу рекомендовать использовать VSR для каких-то старых видео с разрешением ниже 720p. Казалось бы, вроде технология и делает картинку более четкой, но ИИ изначально неоткуда взять информацию для апскейла, а потому получается чистейшая акварель. В общем, смотреть больно и без VSR, и с ней, а потому лучше просто не смотреть вообще.

Выводы

Какие же выводы можно сделать из сказанного выше? Чуда не произошло, но технология жизнеспособная и уже сейчас имеет сценарии, в которых может быть полезной. Если NVIDIA продолжит обучать апскейлящую нейронку, и она в будущем позволит буквально дорисовывать детали, то было бы интересно взглянуть на результаты, а прямо сейчас крайне рекомендую VSR для просмотра аниме онлайн, относительно рекомендую для стримов на Twitch и вообще не рекомендую для видео на YouTube.

Уточню, что сейчас VSR также доступна в плеере VLC, но я не понимаю зачем она там вообще нужна, когда локальные файлы обычно имеют достойное качество изображения, а для каких-нибудь древних .3gp она все равно не подходит.