Авторизация / Регистрация

[Efemische]

Исследовательское подразделение компании NVIDIA представило генеративную систему реконструкции Lyra 2.0: Explorable Generative 3D Worlds, способную превращать одну обычную фотографию или концепт-арт в масштабное трехмерное окружение, по которому можно свободно перемещаться в реальном времени. Главной проблемой ранних видеогенеративных моделей оставались так называемое «пространственное забывание» (spatial forgetting) и временной дрейф (temporal drifting) — стоило виртуальной камере отвернуться от объекта и посмотреть назад, как нейросеть перерисовывала комнату или улицу совершенно иначе. Архитектура Lyra 2.0 полностью решает эту задачу, обеспечивая геометрическую стабильность и постоянство сгенерированного мира на сложных и длинных траекториях движения.

В основе технологии лежит двухэтапный конвейер, объединяющий генерацию видео (на базе диффузионной модели WAN-14B) с трехмерной реконструкцией методом гауссова сплаттинга (3D Gaussian Splatting):

• На первом этапе система итеративно генерирует последовательные видеосегменты по заданной пользователем траектории движения камеры, опираясь на встроенную пространственную память сцены, чтобы объекты не меняли форму при повторном попадании в кадр.
• На втором этапе полученные видеоданные преобразуются в полноценное 3D-представление (3DGS), что позволяет запускать сцену с рендерингом в реальном времени, свободно осматриваться вокруг, возвращаться в уже пройденные точки и даже помещать внутрь окружения физические модели роботов или игровых персонажей для симуляций и VR-приложений.

Исходный код, веса модели и интерактивные примеры уже опубликованы инженерами NVIDIA в открытом доступе на платформе Hugging Face.

Активное развитие генеративных инструментов и технологий рендеринга остается главным приоритетом «зеленой» корпорации: ранее на этой неделе видеокарта RTX 5080 показала колоссальный прирост производительности в 220 раз в тестах трассировки лучей с новой технологией DirectX Clustered Geometry, а для любителей истории графических ускорителей NVIDIA выпустила в Steam бесплатный симулятор распаковки легендарной GeForce 8800 GTX с полной трассировкой пути и поддержкой пакета DLSS 4.5.

[LazySage]

Ну вот а вы смеялись как в фильмах детективы превращали фотографию в 3д пространство, заворачивали за угол а там стоял убийца. Вот, пожалуйста, будущее уже наступило.

[elDen]

этой модели 6 месяцев уже