Авторизация / Регистрация

[Efemische]

На прошедшей конференции SIGGRAPH компания NVIDIA поделилась новыми подробностями о своем фильтре изображения DLSS 5. Если первые версии DLSS занимались масштабированием разрешения и генерацией кадров, то пятое поколение будет перерисовывать части или целые кадры на экране за счет применения нейросетевых фильтров поверх уже отрендеренного кадра.

DLSS 5 включает в себя сразу три разные модели ИИ с индивидуальными параметрами. Авторы игр смогут выбирать подходящую модель под конкретные локации или даже переключать их от сцены к сцене.

Силу работы нейросети в перерисовывании отрендеренных кадров можно регулировать отдельно для каждого объекта или персонажа. Например, разработчики могут применить ИИ-генерацию только к лицу главного героя или материалу его одежды, полностью отключив влияние DLSS 5 на окружающий мир. Для этого будет использоваться нейросетевой алгоритм определения нужных объектов в отрендеренном изображении и векторы движения. Как и говорилось ранее, у DLSS 5 будет только информация о цветах и векторах движения, а все остальное будет додумывать нейросеть.

Во время первых ранних демонстраций на мартовской выставке GTC систему запускали на монструозной связке из двух видеокарт GeForce RTX 5090 (одна рендерила саму игру, а вторая обсчитывала нейросеть). На SIGGRAPH инженеры подтвердили, что к осеннему релизу DLSS 5 будет полностью оптимизирована для работы на одной видеокарте. И да, релиз DLSS 5 все еще запланирован на осень текущего года.

YouTube (short)

Источники: Videocardz

[LazySage]

Ну судя по прошлым видео графон из параги превращается в конфетку, так что ждем.

[MikeNew]

Ии-боты любят повторять что нейросетки всего лишь инструмент, но длсс5 как раз не выглядит как просто инструмент.

[Согласен]

не понимаю что там всем не нравится эта технология, в любом случае мы получаем реалистичное лицо в компьютерной игре

[Clive]

Сообщение от Согласен:

не понимаю что там всем не нравится эта технология, в любом случае мы получаем реалистичное лицо в компьютерной игре

Эффект зловещей долины + большая часть претензий была в том что эта технология тупо меняет лица или дорисовывает им какие-то детали, которых раньше не было.
И не понятно как будет выглядеть в движении.
И не понятно что будет со всякими фентезийными монстрами, откуда у ии информация о них? Для людей то можно натренировать модель а для кракозябры неземной которая есть только в одной конкретной игре?
Ну и даже они сами заявили что не вся линейка 5000 возможно вообще поддерживаться будет. Скорее всего если карта ниже 5070ти то можно даже не пытаться это включать. И для кого тогда данная технология? Тот же РТХ работает даже на 8 гб картах, причем старых. И то он до сих пор не получил должного распространения.

Лично мне не нравится, что все достижения именно людей, в области 3д графики, освещения, материалов и тд заменяют по сути на нейронку. Смысл было корячиться и придумывать все эти шейдеры, ssao, подповерхностное рассеивание и тд если все делать будет 1 фильтр.

[Согласен]

Сообщение от Clive:

Эффект зловещей долины

у всех игр на данном этапе графики эффект зловещей долины

[Pangolier]

Им стоило бы сменить вектор на реалтайм стилизацию, чтобы мог переключаться между стилями по промпту пользователя.

[Clive]

Сообщение от Согласен:

у всех игр на данном этапе графики эффект зловещей долины

Ни разу не ловил такого эффекта, только если игра сделана плохо, как обла ремастер например, там персонажи смотрят прям в душу, но все равно это не то что с этим длсс5.

[elDen]

Сообщение от Clive:

И не понятно как будет выглядеть в движении.

там в видео рассказывают об этом и выделяют как отдельный челендж при разработке.

Сообщение от Clive:

И не понятно что будет со всякими фентезийными монстрами, откуда у ии информация о них? Для людей то можно натренировать модель а для кракозябры неземной которая есть только в одной конкретной игре?

там кастомизированно по разным аспектам.
типа кожа-материалы, свет-тени.
и можно менять % вклада нейросетки от 0%(оригинал) до 100%(полностью положиться на вывод нейронки).
также там 3 разных нейронки будут на релизе, каждая на своём датасете обучена и разраб выбирает какую где использовать.
ну а если ничто не подошло - просто отключаешь использование для конкретного монстра.

Сообщение от Clive:

Ну и даже они сами заявили что не вся линейка 5000 возможно вообще поддерживаться будет. Скорее всего если карта ниже 5070ти то можно даже не пытаться это включать.

в видео про это было тоже, типа отдельный вызов.
чтобы на одной карте да ещё и 4к 60фпс все обрабатывало.
и там говорилось что они урезали в ноль нейронку, оставив только 1 функционал её - улучшалку изображения.
возможно как раз поэтому весной на презентации было 2 5090 - на второй крутилась полноценная большая модель.

про то что там не вся линейка не слышал, но я не вслушивался и промотал по большей части.
но раз они говорили про 4к 60фпс работу, то уверен всякие 5060 будут тянуть в своём фулхд на средненьких.
но возможно карты с менее 16гб видеопамяти не смогут в тяжелых играх в 2-4к.

[LazySage]

Сообщение от Clive:

Лично мне не нравится, что все достижения именно людей, в области 3д графики, освещения, материалов и тд заменяют по сути на нейронку. Смысл было корячиться и придумывать все эти шейдеры, ssao, подповерхностное рассеивание и тд если все делать будет 1 фильтр.

Добро пожаловать в будущее. Нахер людей, ИИ рулит.

[Kotique]

Сообщение от Согласен:

не понимаю что там всем не нравится эта технология

Не нравится тем же чем и рейтресинг - нужна топовая карта.

[AlecsandR]

Ну то есть народ изначально был прав, что это тупо снапчат фильтр, а ни что-то там, что хоть как-то коммуницирует с движком...
Ну флаг им в руки с этой технологией.

[Clive]

Сообщение от LazySage:

Добро пожаловать в будущее. Нахер людей, ИИ рулит.

Быстро ты продался роботам, уверен что Скайнет пощадит, если заранее под него лечь?

[LazySage]

Сообщение от Clive:

Быстро ты продался роботам, уверен что Скайнет пощадит, если заранее под него лечь?

Конечно пощадит, может еще и даст приличную должность. Кстати и тебя пощадит если ты будешь славить его.

[Dopebat2]

Сообщение от AlecsandR:

Ну то есть народ изначально был прав, что это тупо снапчат фильтр, а ни что-то там, что хоть как-то коммуницирует с движком...

Не был народ прав, это у эфимки почему-то жутко бомбит от революционных технологий нвидии. Ну или он старательно пытается это изображать для байта.
Если взять и банально попросить гугл суммаризировать инфу на эту тему по ютуб-ролику, то вот что в итоге ДЛСС5 получает помимо самого плоского кадра:

* Буфер Альбедо (Albedo / Base Color) — чистый цвет текстур без учета теней и освещения (чтобы модель знала оригинальный цвет шкуры персонажа или куртки) (11:34).
* Нормали поверхностей (Surface Normals) — данные о направлении выпуклостей и углов 3D-моделей (чтобы ИИ понимал объем и рельеф объектов) (11:53).
* Векторы движения (Motion Vectors) — траектория смещения каждого пикселя во времени для устранения шлейфов и мерцания (12:54).
* Информация об освещении (Lighting Information) — базовые данные о положении источников света (11:53).
* Семантические маски (Engine Masks) — на 20:29 Гафф (креативный художник) показывает, что движок передает модели маски конкретных объектов (например, маску кувшина или винограда), чтобы ИИ мог обрабатывать их независимо от остальной сцены

[Clive]

Сообщение от LazySage:

Конечно пощадит, может еще и даст приличную должность. Кстати и тебя пощадит если ты будешь славить его.

Эт сомнительно, по логике так много на людей на земле не нужно, полюбому геноцидить начнет

[Dopebat2]

Сообщение от Clive:

Ни разу не ловил такого эффекта, только если игра сделана плохо, как обла ремастер например, там персонажи смотрят прям в душу, но все равно это не то что с этим длсс5.

Эффект возникает только когда виртуальные персонажи начинают по настоящему быть близки к реальным, практически не отличимы. Поэтому малейший угол от полигона или пластиковость сразу рассеивает эффект, так как мозг четко осознает что видит виртуального персонажа или куклу. Поэтому как раз если, как ты написал, "игра сделана плохо" - там никакого эффекта долины быть не может по определению.
А вот если такой эффект возникает при длсс, то это значит он добился полной реалистичности, чего не было раньше в игровой графике, но в каких-то самых незаметных деталях еще проскакивает искусственность, которая эту долину и вызывает.

[Clive]

Сообщение от Dopebat2:

революционных технологий нвидии

у ии все арты или видео выглядят одинаково, общий видок такой похожий. что будет если еще и в играх, где итак уже почти фотореализм, добавят это? визуальная уникальность проектов сойдет на нет окончательно.
такого, чтобы игры выглядели сильно по разному тк каждый в своем движке по разному рендеринг реализует как это было в 00-2010х уже не будет никогда

Добавлено через 2 минуты

Сообщение от Dopebat2:

А вот если такой эффект возникает при длсс, то это значит он добился полной реалистичности, чего не было раньше в игровой графике, но в каких-то самых незаметных деталях еще проскакивает искусственность, которая эту долину и вызывает.

тут какая проблема. модели то выглядят очень реалистично, это круто. но если анимации не дотягивают до качества моделей (а они не дотягивают), то эффект зловещей долины и возникает. это как когда ты смотришь на человекоподобного робота - вроде как человек, но не человек. стоит ему начать двигаться и весь реализм сыпется.

это как в видео где наложили ии-фильтр на Скайрим, люди реалистичные, а анимации деревянные и выглядит это ужасно.
т.е. эта технология поможет только итак очень реалистичным играм с топ анимациями, типа какого нибудь резидента9, а все остальные в пролете.

[Dopebat2]

Сообщение от Clive:

у ии все арты или видео выглядят одинаково, общий видок такой похожий. что будет если еще и в играх, где итак уже почти фотореализм, добавят это? визуальная уникальность проектов сойдет на нет окончательно

Ии-арты выглядят одинаково только у ленивых создателей, которые не пишут детали лиц и прочего, а делают промты в стиле "нарисуй красивую девушку", вот они и получают одинаковых среднестатических персонажей.
Ситуация с длсс вообще другая. Там на входе он получает уникальные лица как их нарисовали авторы игры и просто добавляет детали и освещение. Конечно, если потом авторы также начнут лениться и лепить какие-то одинаковые болванки вместо уникальных лиц моделям, то будет всё одинаково, но длсс тут не виноват.

[Clive]

Сообщение от Dopebat2:

Ии-арты выглядят одинаково только у ленивых создателей, которые не пишут детали лиц и прочего, а делают промты в стиле "нарисуй красивую девушку", вот они и получают одинаковых среднестатических персонажей.

сам стиль максимально усредненный, нет авторского видения. как будто азиаты рисуют.

Сообщение от Dopebat2:

Ситуация с длсс вообще другая. Там на входе он получает уникальные лица как их нарисовали авторы игры и просто добавляет детали и освещение. Конечно, если потом авторы также начнут лениться и лепить какие-то одинаковые болванки вместо уникальных лиц моделям, то будет всё одинаково, но длсс тут не виноват.

я говорю про то, что игры уже итак максимально друг на друга похожи, из за упора в реализм и использования одинаковых движков (все мы знаем какого именно), а с этим различия еще больше сотрутся. по крайней мере в ААА сегменте, именно там разрабы хотят в реализм больше всего.

[Neocronic]

Сообщение от Kotique:

Не нравится тем же чем и рейтресинг - нужна топовая карта.

ты слишком нищ чтобы играть в современные игры

[Дмитрий1994]

@Clive,очевидно кракозябра практически не поменяется а на людях и природе фильтр будет отлично работать.

Добавлено через 1 минуту

Технология конфетка, но я бы применял чисто для окружения и предметов, лица пока не очень выходят, нужно больше отдельных частей для настройки, волосы / глаза.