로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

뉴스봇

소식 엔비디아, 2D 이미지를 3D 모델로 변환하는 GANverse3D 공개

엔비디아(CEO 젠슨 황)는 자사의 AI 리서치 랩(AI Research Lab)에서 개발한 GANverse3D 애플리케이션을 공개했다. 이는 평면 이미지를 사실적인 3D 모델로 변환해 가상 환경에서 시각화 및 제어를 가능하게 한다.

 

건축가, 크리에이터, 게임 개발자, 디자이너가 GANverse3D를 활용하면 3D 모델링 분야에 전문성이 없거나 렌더링에 투자할 대규모 예산이 없어도 자신의 실물 모형(mockups)에 새로운 오브젝트를 손쉽게 추가할 수 있다. 이는 특정 자동차 사진 한 장만으로, 사실적인 전조등, 후미등, 점멸등까지 완비한 3D 모델을 구축해 가상의 장면에서 주행하게 만들 수 있다.


엔비디아 AI 리서치 랩의 연구자들은 훈련용 데이터세트의 마련에 생성적 적대 신경망(GAN)을 적용해 마치 사진사가 주차된 차량 주변을 걸으며 서로 다른 각도에서 사진을 찍듯, 동일한 오브젝트를 다양한 각도에서 묘사하는 이미지들을 합성했다. 이를 통해 얻은 다시점 이미지들을 2D 이미지에서 3D 메시 모델을 추론하는 프로세스인 역 그래픽(inverse graphics)용 렌더링 프레임워크에 연결했다.

다시점 이미지로 훈련을 완료한 GANverse3D는 단일 2D 이미지만으로 3D 메시 모델을 구현할 수 있다. 이는 오브젝트를 커스터마이징하고 배경을 스왑 아웃(swap out)할 수 있는 3D 뉴럴 렌더러와 함께 사용할 수 있다.

GANverse3D를 엔비디아 옴니버스(Omniverse) 플랫폼의 확장기능으로 가져와 엔비디아 RTX GPU로 실행하면 모든 형태의 2D 이미지를 3D로 재현할 수 있다. 일례로 1980년대에 큰 인기를 끌었던 TV 드라마 전격 Z작전에서 범죄에 맞서 싸우며 대중의 사랑을 한 몸에 받았던 자동차 키트(KITT)도 재현이 가능하다.

 

GANverse3D 연구 내용은 5월에 개최될 인공지능학회 표현학습국제학회(ICLR)와 6월에 열릴 패턴인식 학술대회(CVPR)에서 소개될 예정이다.

게이밍, 건축, 디자인 분야의 크리에이터들은 최종 제품의 제작에 앞서 시뮬레이션과 협업을 위한 플랫폼인 엔비디아 옴니버스와 같은 가상 환경을 활용해 새로운 아이디어를 검증하고 프로토타입을 시각화한다. 이 과정에서 옴니버스 커넥터(Omniverse Connector)를 사용해 자신이 선호하는 3D 애플리케이션을 옴니버스 내에서 사용하면서 복잡한 가상 세계의 시뮬레이션과 실시간 레이 트레이싱을 수행할 수 있다.

그러나, 스케치한 오브젝트의 3D 모델을 생성할 시간적 여유나 리소스가 없는 경우가 존재한다. 전시장 한 개 분량의 자동차들, 거리 한 개 분량의 건물들을 렌더링하는 데 필요한 다시점 이미지들을 일일이 캡처하는 데는 비용이 많이 소요된다.

훈련을 마친 GANverse3D 애플리케이션을 사용하면 자동차와 건물이 포함된 일반 이미지를 3D 모델로 변환할 수 있으며, 동물을 비롯한 무엇이든 표현이 가능하다. 옴니버스에서 해당 3D 모델들의 커스터마이징과 애니메이션 작업을 진행할 수 있다.

드라마 속 키트의 재현을 위해 연구자들은 훈련을 마친 모델에 키트의 이미지를 투입했다. 키트에게 적합한 3D 텍스처를 비롯해 바퀴와 전조등 같은 기타 부위의 예측은 GANverse3D에서 진행됐다. 다음으로 엔비디아 옴니버스 키트(Omniverse Kit)와 엔비디아 PhysX 툴을 사용해 예측 텍스처를 고품질 머티리얼로 변환하여 키트에 보다 사실적 외관과 느낌을 부여했으며, 이를 역동적인 주행 시퀀스 안에 다른 차량들과 함께 배치했다.

 

동일한 오브젝트를 서로 다른 각도에서 캡처하는 데이터세트는 현실적으로 드물다. 2D를 3D로 변환하는 AI 툴의 대부분은 셰이프넷(ShapeNet)과 같은 합성 3D 데이터세트(synthetic 3D datasets)를 사용해 훈련된다.

엔비디아 연구자들은 웹상에서 공개적으로 얻을 수 있는 자동차 이미지와 같은 실세계 데이터에서 다시점 이미지를 얻기 위해 GAN 모델을 활용했다. 이는 GAN 모델의 신경망 레이어를 조작해 데이터 생성기로 변환시키는 방식이다.

연구팀은 해당 신경망의 처음 레이어 4개를 켜고, 나머지 12개를 동결하면 GAN이 동일한 오브젝트를 서로 다른 각도에서 바라본 이미지를 내놓는다는 사실을 발견했다. 처음 레이어 4개를 동결하고 나머지 레이어 12개에 변화를 주면서 동일한 각도에서 본 서로 다른 이미지를 생성할 수 있었다. 특정 고도나 카메라와의 거리를 나타내는 차량들을 이용해 표준 각도를 수동으로 할당한 결과 개별 2D 이미지들로 다시점 데이터세트를 신속히 생성할 수 있었다.

GAN으로 생성한 55,000개의 자동차 이미지를 활용해 훈련을 마친 최종 모델은 파스칼3D(Pascal3D) 데이터세트로 훈련한 역 그래픽 네트워크보다 향상된 성능을 보였다.

댓글
0
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 48853
핫글 소식 사면초가 애플… 국내서도 시민단체가 신고 [1] new 뉴스봇 03:15 6 386
핫글 소식 못생긴 캐릭터 싫어요...한국 게임 응원하는 해외 이용자들 new BarryWhite 01:34 1 303
핫글 소식 삼성전자 반도체 3위로 하락…인텔·엔비디아에 자리내줘 new BarryWhite 01:48 1 298
36010 소식 삼성 보급형 갤럭시 A22 출시 임박.. 인도서 인증 획득 뉴스봇 21.04.19 0 235
36009 소식 네이버, 직원 1인당 자사주 3000만원어치 쏜다 뉴스봇 21.04.19 0 247
36008 소식 개인정보 무단 유출 페이스북...국내 첫 집단 소송 뉴스봇 21.04.19 0 102
36007 소식 시스코, 삼성전자와 와이파이 6E 협력...갤럭시S 21 울트라에도 적용 뉴스봇 21.04.19 0 226
36006 소식 갤럭시Z폴드3에 AMD GPU 엑시노스 탑재 [17] file 우주안녕 21.04.19 5 1243
36005 소식 인텔 12세대 코어 CPU 엘더 레이크 쿨러홀 변경, 별도 브라켓 필요 뉴스봇 21.04.19 0 165
36004 소식 엔씨소프트, 코로나19 확진자 8명 발생...전사 재택 근무 뉴스봇 21.04.19 0 159
36003 소식 HDD와 SSD도 품귀? 중국서 신규 가상화폐에 사제기 발생 뉴스봇 21.04.19 0 168
36002 소식 한국 정부, 대만 정부에 자동차 반도체 요청 뉴스봇 21.04.19 3 341
36001 소식 중국 디스플레이 기술 혁신 센터 개소 뉴스봇 21.04.19 0 67
36000 소식 노키아, LG 유플러스와 5G 실내 서비스 품질 향상 위한 장비 구축 뉴스봇 21.04.19 0 67
35999 MS, 새 안드로이드용 엣지 공개…PC 버전과 코드 공유 [1] 뉴스봇 21.04.19 0 333
35998 소식 인텔 12세대 코어 CPU 엘더 레이크, 워크스테이션용 3분기 출시? file 뉴스봇 21.04.19 1 167
35997 한국마이크로소프트, 서피스 랩탑 4 사전 예약 판매 시작 뉴스봇 21.04.19 0 140
소식 엔비디아, 2D 이미지를 3D 모델로 변환하는 GANverse3D 공개 뉴스봇 21.04.19 1 181
35995 소식 LG-GM, 미국 전기차 배터리 추가 투자 공식화 뉴스봇 21.04.19 0 53
35994 소식 지포스 RTX 3080 Ti, 5월 출시 앞두고 판매상에 발송 중? 뉴스봇 21.04.19 0 138
35993 반도체 쇼티지 내후년까지 간다, 고민 깊어지는 산업계 뉴스봇 21.04.19 0 113
35992 소식 사이버펑크 2077 크래시와 각종 영상 재생 문제 해결, 인텔 신규 그래픽 드라이버 배포 [2] 뉴스봇 21.04.19 0 241
35991 소식 티맵, 고속도로 미납 통행료 납부 서비스 시작 뉴스봇 21.04.19 1 239
35990 소식 어도비 설립자 찰스 척 게슈케 사망...81세 뉴스봇 21.04.19 3 668
35989 소식 구글 어스 4년만의 대폭 업데이트...타임랩스 기능 추가 뉴스봇 21.04.19 2 570
35988 삼성, Galaxy Z Flip 및 Z Fold 용 Armor Frame 개발 [3] file 프로입털러 21.04.18 4 868
35987 삼성전자, 갤럭시S22에도 ToF 미탑재…시스템LSI사업부 센서 공급도 미뤄질 듯 [7] Thomasp5675 21.04.18 1 614
35986 네이버, 구글에 1위 뺏기나…'결정적 한 방'이 운명 바꿨다 [22] 프로입털러 21.04.18 5 1224
35985 美정관계, 삼성 미국에 中법원효력 인정 모욕적 요구 [3] 프로입털러 21.04.18 2 524
35984 소식 원전·공항 등 불법드론 위협 지능형 기술로 막는다...5년간 420억 투입 [1] 뉴스봇 21.04.18 2 213
35983 소식 과기정통부, 양자기술 연구생태계 조성…인재 양성 나서 뉴스봇 21.04.18 0 76
35982 아이폰 13 시리즈 CAD 유출...카메라 모듈 커진다 뉴스봇 21.04.18 1 417
35981 아이폰 13 노치 사진 등장...아이폰 12보다 작아져 [5] 뉴스봇 21.04.18 1 648

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...