https://twitter.com/minchoi/status/1780792793079632130

뭐야 이거.......무서워요.

마이크로소프트는 AI 연구 부서는 사람의 얼굴 이미지만으로 말하고 노래하는 비디오로 변환할 수 있는 AI 프레임워크인 VASA-1을 발표했습니다.

이 프로젝트는 매우 최소한의 입력으로 작동하기 때문에 AI 생성 콘텐츠에서 달성된 것에 상당한 변화를 나타냅니다. 하나의 정적 헤드샷과 음성이 포함된 오디오 파일만 있으면 모델이 립싱크 및 관련 표현과 머리 움직임을 생성해냅니다.

회사 측에 따르면 프리미어 모델은 사람의 얼굴 정지 화상(이미지)과 음성 오디오 파일만 제공되면 이를 비디오로 변환할 수 있으며, 오디오에 동기화된 입술 움직임은 물론 진정성과 생동감에 대한 인식에 기여하는 감정, 얼굴 뉘앙스 및 자연스러운 머리 움직임으로 완성된다고 합니다. 마이크로소프트는 한 사람의 헤드샷이 어떻게 같은 사람이 말하거나 노래하는 비디오로 변환될 수 있는지 보여주는 여러 사례를 공유했습니다. 

마이크로소프트는 모자리자 랩 중 하나를 포함하여 프레임워크의 우수성을 보여주는 여러 샘플을 공유했습니다. 그러나 이 기술로 인한 딥페이크 생성의 명백한 위험을 감안할 때, 회사는 이는 연구 데모일 뿐이며 기술을 시장에 출시할 계획은 없다고 강조했습니다.