https://youtu.be/oMCC9TgsCDY

https://youtu.be/HwGbQwoMCxM

https://youtu.be/KENPQnTrT5g

 

엔비디아는 이제 레이 트레이싱을 가속화하고 AI를 통해 훨씬 더 나은 모습을 보여주는 업스케일링 기술의 차세대 주요 업데이트인 DLSS 3.5를 발표했습니다.

 

AI를 사용하여 레이 트레이싱을 가속화하고 모든 RTX GPU에서 충실도를 높인 NVIDIA DLSS 3.5

오늘은 Gamescom 2018에서 DLSS가 처음 소개된 지 5주년이 되는 날입니다. 그 이후로 이 기술은 NVIDIA RTX GPU의 기본 구성 요소가 되었으며, 모델 트레이닝을 위해 항상 열심히 노력하는 NVIDIA의 AI 슈퍼컴퓨터 덕분에 점진적인 업데이트를 통해 기술을 개선해 왔습니다. DLSS 1에 이어 아래 나열된 네 가지 주요 업데이트를 도입했습니다:

 

DLSS 1(2018년 8월) - 딥 러닝 슈퍼 샘플링을 세상에 소개합니다.

DLSS 2 (2020년 3월) - 더 나은 품질과 성능을 갖춘 새로운 신경망

DLSS 2.3(2021년 11월) - 움직임, 재구성 및 시간적 안정성의 디테일 개선

DLSS 3(2022년 10월) - 새로운 프레임 생성 기능으로 최대 2배까지 성능 향상

DLSS 3.1(2023년 1월) - 빠른 움직임 중 UI 안정성 및 품질 개선

 

올해 Gamescom 2023에서 NVIDIA는 DLSS 3.5로 알려진 두 번째 주요 DLSS 3 업데이트를 마무리합니다.NVIDIA는 특히 DLSS 3.5를 사용하여 DLSS를 훈련시키는 데 도움이 되는 동일한 AI 모델로 광선 추적을 강화하고 있습니다.하지만 DLSS 3.5가 무엇을 하는지 이해하려면 기존에 광선 추적이 어떻게 작동하는지 살펴봐야 합니다.

현재 RT 수행 방법

일반적인 광선 추적 조명 파이프라인은 먼저 재료와 형상으로 장면을 생성합니다.

 

이 시점에서는 조명 효과가 적용되지 않습니다.그런 다음 이 이미지는 반사 및 전역 조명과 같은 다양한 조명 효과로 샘플링됩니다.

아래의 예 이미지에서는 장면이 완전히 가려지지 않아 조명 정보에 공백인 검은색 픽셀이 남아 있습니다. 모든 픽셀을 채울 만큼의 광선을 쏠 수 없거나 픽셀이 튕겨나갈 때 균등하게 분포되지 않기 때문에 이러한 빈 공간이 그대로 남아 있습니다.

 

그 결과, 현장에서 촬영된 광선의 수에 관계없이 항상 누락된 픽셀이 존재하게 됩니다.

여기서 노이즈 제거기가 와서 이러한 샘플링된 광선을 분석하고 공간 및 시간적 기법을 사용하여 누락된 픽셀을 채웁니다.

 

게임 엔진은 각 번개 효과에 대해 여러 개의 노이즈 제거기를 포함할 수 있습니다.

 

노이즈 제거기가 작업을 마치면 RT 영상이 합성된 다음 기본 해상도로 업스케일링됩니다. 거부자는 다음 방법을 사용합니다.

• 시간적 누적: 여러 프레임에 걸친 샘플 광선(고스트 또는 RT 불량으로 이어질 수 있음)
• 공간 보간:검은색 공백을 채우고 주변 픽셀과 혼합합니다(이미지가 흐릿하거나 균일하지 않을 수 있음)

이러한 노이즈 제거기는 하나의 특정 제목에 대해 수동으로 조정할 수 있지만 부정확한 조명 효과, 낮은 품질의 전역 조명 및 낮은 품질의 반사로 이어질 수 있습니다.

 

또한 노이즈 제거기는 업스케일링에 필요한 고주파 컬러 데이터를 제거하여 RT가 적용된 후 세부 정보가 부족한 최종 이미지로 이어질 수 있습니다.

이것이 DLSS 3.5가 필요한 부분입니다!

NVIDIA는 이러한 문제를 해결하기 위해 새로운 솔루션을 고안했으며 최신 세대의 DLSS가 바로 여기에 있습니다. DLSS 3.5는 RR 또는 Ray Reconstruction이라고 하는 새로운 기능을 DLSS 파이프라인에 추가했습니다.

 

Ray Reconstruction은 위에서 논의한 전통적인 RT 파이프라인에서 사용되는 다중 노이즈 제거기를 근본적으로 대체하는 것입니다.

NVIDIA는 RR이 DLSS 3보다 5배 더 많은 데이터에 대해 교육을 받고 있기 때문에 게임과 엔진 내에서 RR을 구현하는 것이 훨씬 현명한 선택이라고 말합니다.

 

RR은 추가 엔진 데이터를 통합하고, 다양한 광선 추적 효과를 인식하고, 좋은 시간 및 공간 픽셀과 나쁜 시간 및 공간 픽셀을 인식하고, 업스케일링을 위해 고주파 데이터를 유지하도록 훈련되었습니다.

기존의 노이즈 제거기와 DLSS 3.5 사용 가능한 DLSS 3.5를 근접 비교하여 새로운 슈퍼 샘플링 기술이 양호한 픽셀을 유지하고 불량 픽셀을 폐기하여 단순히 샘플링된 광선을 혼합하고 부정확한 조명을 유발하는 노이즈 제거기에 비해 훨씬 우수한 광선 추적 품질을 제공한다는 것을 알 수 있습니다.

 

이와 같은 큰 차이는 오프라인에서 교육을 받고 실시간으로 사용할 수 있는 것보다 훨씬 계산 집약적인 대용량 데이터 세트 덕분에 달성됩니다.

Portal RTX와 Cyberpunk 2077을 실행하는 여러 비교 이미지에서 신경 훈련 데이터 세트가 있는 DLSS 3.5는 이미지를 흐릿하게 보이거나 누락된 조명 지점을 남기지 않고 훨씬 더 사실적으로 보이는 RT 조명을 제공한다는 것을 알 수 있습니다.

조명은 다시 RT의 한 측면일 뿐이며 반사 또한 새로운 AI 모델을 활용하여 원래 이미지의 데이터가 노이즈 제거기처럼 함께 혼합되지 않고 유지되므로 흐릿한 이미지를 덜 제공합니다.

 

이렇게 하면 최종 렌더링된 이미지에서 더 선명한 반사가 발생합니다.

RT 품질 향상과 성능 향상

모든 RT의 장점은 GPU에 부담을 줄 것이라는 것을 의미합니다.사실 전혀 그렇지 않습니다.

 

DLSS 3.5의 레이 재구성을 활성화하면 바닐라 DLSS 3보다 훨씬 더 나은 성능을 얻을 수 있습니다. 한 Cyberpunk 2077 예에서 DLSS 꺼짐과 다양한 AI 기술 사용 간의 성능 차이를 확인할 수 있습니다.

DLSS가 꺼지고 RT-Overdrive(경로 추적)가 활성화되면 게임은 21개의 FPS를 생성합니다. DLSS 2 Super Resolution을 사용하면 FPS가 3배 이상 크게 향상되는 동시에 우수한 IQ(이미지 품질)를 유지할 수 있으며, DLSS 3는 FG(프레임 생성) 기술을 사용하여 훨씬 더 높은 성능으로 FPS를 한 단계 끌어올릴 수 있습니다. 그리고 새롭게 도입된 DLSS 3.5는 DLSS 3보다 훨씬 더 나은 성능을 제공하면서도 RT의 장점을 시각적으로 보여줍니다.

 

DLSS 3.5가 벽과 다양한 표면의 번개를 다른 방법보다 더 사실적으로 채우는 방법을 확인할 수 있습니다.

여러 거부자를 하나의 AI 모델로 대체할 수 있고 최종 성능은 게임마다 달라질 것이라는 게 엔비디아의 설명입니다. 또한, DLSS 3.5는 게임에만 국한되지 않고 주요 콘텐츠 제작과 Pro의 장점도 가지고 있습니다.D5 렌더러도 DLSS 3.5 업데이트를 통해 이미지를 RT로 렌더링할 수 있습니다.

통합과 관련하여 NVIDIA는 슈퍼 레졸루션을 구현하는 것과 마찬가지로 플러그인으로 레이 재구성을 쉽게 구현할 수 있도록 할 것이라고 밝혔습니다.

 

DLSS AI 모델에 정보를 전달해야 하므로 개발자는 내부 노이즈 제거기만 끄면 됩니다. 통합의 관점에서 보면 좋은 것 같고, 앞으로 더 많은 RR 강화 타이틀을 기대할 수 있습니다.

 

Cyberpunk 2077 Phantom Liberty DLSS 3.5 전체 경로 추적 스크린샷:

앨런 웨이크 II DLSS 3.5 전체 경로 추적 스크린샷:

바로 작동(모든 RTX GPU에서)

NVIDIA는 RTX 20 시리즈부터 RTX 30 및 RTX 40 GPU까지 모든 RTX GPU에서 DLSS 3.5 Ray Reconstruction 지원을 제공할 예정입니다.

 

DLSS 3.5 프레임워크는 또한 자체 특정 GPU 세대에서 지원되는 기존의 슈퍼 해상도, DLAA 및 프레임 생성 기술을 포함할 것입니다.

 

이러한 기술은 NVIDIA Tensor Core 기술을 활용하여 탁월한 성능과 놀라운 화질을 제공합니다.

개발자는 DLSS 3.5 프레임워크에 포함된 이러한 모든 기술을 선택할 수 있으며 성능, 이미지 품질 또는 둘 다에 초점을 맞추고자 할 경우 선호도에 따라 달라집니다.

"실시간으로 완전히 추적된 조명은 게임에서 사실적인 그래픽으로 전환하는 과정에서 중요한 이정표였으며, Cyberpunk 2077의 RT Overdrive Mode, RTX의 Minecraft 및 RTX의 Portal을 통해 이러한 목표를 달성했습니다.

NVIDIA DLSS 3.5에 Ray Reconstruction이 추가됨에 따라 개발자들은 AI의 도움을 받아 이전에 생각했던 것보다 더 많은 이미지 품질을 향상시킴으로써 그들이 만드는 세상을 개선할 수 있게 되었습니다."

 

NVIDIA의 마케팅 부사장인 Matt Wewebbling은 다음과 같이 말했습니다.

 

"AI 렌더링 기능을 기반으로 한 DLSS 3.5의 스마트 기술 덕분에 더 선명한 이미지, 더 정확한 조명, 가능한 최고의 프레임 레이트로 Cyberpunk 2077: Phantom Liberty의 최신 위치인 Dogtown을 최상의 상태로 경험할 수 있습니다."

 

Jakub Knapik, 아트 부사장, 글로벌 아트 디렉터, CD PROJEKT RED

 

"DLSS 3.5의 새로운 레이 재구성 기능은 우리의 완전한 레이 추적 세계를 그 어느 때보다 아름답게 표현하여 Alan Wake 2의 이야기를 더 깊이 있게 보여줍니다."

 

Tatu Aalto, 리드 그래픽 프로그래머 Remedy Entertainment

 

"DLSS Ray Reconstruction과 D5 Render의 통합은 DLSSR 및 FG에 이어 NVIDIA와의 세 번째 기술적 협업으로 D5 Render의 실시간 렌더링 기능의 이미지 품질을 더욱 향상시켰습니다.향후 NVIDIA를 통해 더 많은 가능성을 모색할 수 있기를 기대합니다."

 

Jessie Huang, VP, 마케팅 책임자, D5 렌더

언제 출시될까요?

NVIDIA DLSS 3.5는 이번 가을에 Cyberpunk 2077(팬텀 리버티 업데이트 포함), Portal with RTX, 그리고 Alan Wake 2를 포함한 3개의 주요 타이틀로 출시될 예정입니다.

 

게임 외에도, 옴니버스 플랫폼, 카오스 밴티지, 그리고 앞서 언급한 D5 렌더 또한 DLSS 3.5 모델을 사용할 것입니다.