https://youtu.be/DJ2hcC1orc4

AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(CEO 젠슨 황)가 2D 사진을 3D 장면으로 빠르게 전환하는 뉴럴 렌더링 모델인 인스턴트(instant) NeRF를 공개했다. 엔비디아의 AI 기술을 활용한 인스턴트 NeRF는 2D 장면의 이미지를 수 밀리초 안에 빠르게 렌더링해준다.

75년 전 폴라로이드 카메라로 즉석 사진을 최초로 촬영할 당시, 3D 세계를 사실적인 2D 이미지로 빠르게 포착하는 것은 획기적인 일이었다. 오늘날 AI 연구진은 이와 정반대의 연구를 하고 있다. 즉, 정지된 이미지 모음을 몇 초 만에 디지털 3D 장면으로 바꾸고 있다.

인버스 렌더링(inverse rendering)으로 알려진 이 과정은 AI를 사용하여 실제 세계에서 빛이 어떻게 작용하는지 대략적으로 파악해 연구자가 다양한 각도에서 촬영한 소수의 2D 이미지로 3D 장면을 재구성한다. 엔비디아 리서치(NVIDIA Research) 팀은 이 작업을 거의 즉시 수행하는 접근 방식을 개발했으며, 이는 초고속 뉴럴 네트워크 트레이닝과 고속 렌더링을 결합한 최초의 모델 중 하나가 됐다.

엔비디아는 이 방식을 인기 있는 신기술인 NeRF(Neural radiance Fields, 뉴럴 래디언스 필드)에 적용했다. 그 결과물인 인스턴트 NeRF는 현재까지 가장 빠른 NeRF 기술로, 경우에 따라 1,000배 이상으로 속도를 향상시킨다. 이 모델은 수십 장의 사진과 더불어 촬영한 카메라 각도의 데이터를 단 몇 초 만에 학습하고, 그 결과 생성된 3D 장면을 수십 밀리초 안에 렌더링할 수 있다.

엔비디아 GTC 세션에서 소개된 인스턴트 NeRF는 가상세계의 아바타 또는 장면을 만들거나 화상회의 참가자와 환경을 3D로 캡처하고, 3D 디지털 맵의 장면을 재구성하는 데 사용할 수 있다.

이와 더불어 엔비디아 리서치는 폴라로이드 이미지의 초창기를 기리기 위해, 인스턴트 NeRF를 사용해 즉석 사진을 찍는 앤디 워홀의 상징적인 이미지를 3D 장면으로 재창조했다.