엔비디아(CEO 젠슨 황)가 국제 컴퓨터 비전 컨퍼런스인 CVPR(Computer Vision and Pattern Recognition) 2021에서 화상회의용 딥러닝 모델 비드 투 비드 카메오(Vid2Vid Cameo)를 공개했다.

 

클라우드 네이티브 AI 동영상 스트리밍 플랫폼인 엔비디아 맥신(NVIDIA Maxine) SDK 기반의 비드 투 비드 카메오는 생성적 적대 신경망(GAN)을 통해 사용자의 2D 이미지만으로 참여자가 실제 말하는 것과 같은 토킹헤드(taking-head) 합성 영상을 생성한다. 이로써, 사용자는 언제 어디서나 증명사진과 같은 완벽한 모습으로 화상회의에 참여할 수 있게 됐다.

비드 투 비드 카메오를 통해 화상회의에 참여하기에 앞서 사용자는 자신의 사진이나 캐릭터 아바타와 같은 참조 이미지를 제출해야 한다. 이후, 화상회의를 시작하면 AI 모델이 사용자의 움직임을 실시간으로 포착해 이를 기존에 제출한 참조 이미지에 적용한다.

예를 들어 사용자가 정장을 입은 사진을 업로드하면, 실제로 옷을 갖춰 입지 않더라도 화면에는 정장을 입은 모습으로 보이게 된다. 이는 AI가 사용자의 얼굴 움직임을 기존에 제출한 사진에 매핑했기 때문이다. 참여자가 얼굴을 왼쪽으로 돌려도 AI가 시선 처리를 해주기 때문에 시선은 웹캠을 정면으로 마주하는 모습으로 보인다.

해당 AI 기술은 회의 참석자의 용모를 단정하게 하는 것 외에도, 기존 화상회의에 필요한 대역폭을 최대 10배까지 줄여 지터(jitter) 및 랙(lag) 현상을 방지한다. 해당 기술은 곧 엔비디아 비디오 코덱 SDK(NVIDIA Video Codec SDK)에서 AI 페이스 코덱(AI Face Codec) 형식으로 제공될 예정이다.

 

비드 투 비드 카메오는 이번 주 개최된 온라인 학술대회 CVPR 2021에서 엔비디아의 28개 논문 중 하나로 발표됐으며, AI 플레이그라운드(AI Playground)에서 누구나 리서치 데모를 직접 체험할 수 있다.

 

 

 

비드 투 비드 카메오는 얼굴 방향 전환 기능, 애니메이션 아바타, 데이터 압축 기능 등을 핵심으로 한다. 이러한 기능들은 엔비디아 맥신 SDK에 곧 도입될 예정이다. 엔비디아 맥신 SDK는 화상회의 및 라이브 스트리밍의 비디오, 오디오, 증강현실 효과를 위해 최적화된 사전교육 모델을 개발자들에게 제공하는 플랫폼이다.

현재 이용 가능한 맥신 AI 효과는 지능형 소음 제거, 비디오 업스케일링 및 신체 포즈 예측을 비롯해 다양하게 제공된다. 무료로 다운로드 가능한 SDK는 녹음이나 번역 애플리케이션 등의 대화식 AI 애플리케이션을 위한 엔비디아 자비스(NVIDIA Jarvis) 플랫폼과 함께 사용 가능하다.

비드 투 비드 카메오를 통해 화상회의에 사용되는 사실적인 AI 토킹헤드(taking head)를 만들려면 인물을 찍은 사진과 함께 사진 속 인물이 움직이는 방식을 보여주는 스트리밍 영상이 필요하다.

엔비디아 DGX 시스템에서 개발된 비드 투 비드 카메오는 18만 개의 고품질 토킹헤드 영상 데이터 세트에 기반해 훈련됐다. 훈련을 거친 GAN은 별도의 설명 없이도 얼굴의 움직임을 모델링하는 데 필요한 20개의 중심 포인트(point)를 식별하는 방법을 학습한다. 각 포인트는 눈, 코, 입 등의 특징적인 위치를 인코딩한다.

이후, 해당 모델은 회의 참여자가 업로드한 참조 이미지에서 중심 포인트를 추출하고, 이를 다른 회의 참여자에게 미리 보내거나 이전 화상회의에서 사용했던 포인트를 재사용할 수도 있다. 이를 통해 화상회의 플랫폼은 대용량의 라이브 비디오 스트림을 전송할 필요 없이 단순히 화자의 얼굴에 적용된 중점포인트의 움직임과 관련된 데이터만 전송하면 된다.

데이터 수신자 측의 GAN 모델은 이 정보를 사용해 화상회의의 영상을 합성하고 참조 이미지와 거의 똑같은 모습을 만든다.

 

 이 기술은 비디오스트림 전체를 주고받을 필요없이, 사용자의 머리 위치와 얼굴의 중심포인트로 간소화된 데이터를 서로 주고받음으로써 화상회의에 필요한 대역폭을 10배까지 줄여 준다. 따라서, 보다 원활한 사용자 환경을 제공할 수 있다. GAN 모델은 시각적 퀄리티의 저하 없이 다양한 대역폭 환경에 적응하기 위해, 중요포인트 개수를 조정하여 전송할 수도 있다.

또한, 영상 속 토킹헤드의 시선을 자유자재로 조정해 사용자의 모습을 측면이나 정면으로 보여줄 수 있으며, 높거나 낮은 카메라 각도 처리도 가능하다. 이 기능은 정지된 이미지를 작업하는 사진 편집기에 사용될 수도 있다.

 

동작 데이터를 전송하는 기능을 통해 화자의 얼굴 움직임은 화상회의 속 디지털 아바타(digital avatar)를 애니메이션화 하도록 적용될 수 있으며, 비디오 게임 및 만화 캐릭터에 더욱 사실적인 얼굴 표정과 움직임을 덧입히도록 적용될 수 있다.

 

 

 

비드 투 비드 카메오에 대한 논문은 엔비디아 연구원 왕팅춘(Ting-Chun Wang), 아룬 맬리아(Arun Mallya), 류밍유(Ming-Yu Liu)가 공동 집필했다. 엔비디아 연구팀은 AI, 컴퓨터 비전, 자율주행 자동차, 로보틱스, 그래픽 등의 분야를 중심으로 하는 전 세계 200여 명의 과학자로 구성된다.