https://www.youtube.com/watch?v=qr7f1e-7g8Y

엔비디아가 게임 및 애플리케이션에서 실제 사람처럼 보이고 행동하는 AI 기반 캐릭터 제작을 위한 최신 기술을 공개했습니다.

언리얼 페스트 시애틀 2024서 엔비디아는 엔비디아 에이스(Nvidia Ace)용 언리얼 엔진 5 온디바이스 플러그인을 새롭게 선보였습니다. 

에이스는 생성형 AI 기반 음성, 지능, 애니메이션을 제공하는 디지털 휴먼 기술 제품군입니다.

이제 개발자들은 이 플러그인을 통해 윈도 PC서 AI 기반 메타휴먼 캐릭터를 보다 쉽게 구축하고 배포할 수 있게 되었습니다. 엔비디아 에이스 언리얼 엔진 5 샘플 프로젝트는 디지털 휴먼을 게임 및 애플리케이션에 통합하려는 개발자를 위한 지침 역할을 합니다.

새로운 플러그인은 다음과 같습니다.

- Audio2Face-3D: 립싱크 및 얼굴 애니메이션 담당
- Nemotron-Mini 4B Instruct: 응답 생성 담당
- RAG: 문맥 정보 담당

개발자들은 이 플러그인을 활용, 자신들의 IP에 대한 문맥 지식 데이터베이스를 구축하고, 짧은 지연 시간 내에 관련 있는 응답을 생성할 수 있습니다. 또 해당 응답을 통해 언리얼 엔진 5에서 메타휴먼의 자연스러운 얼굴 애니메이션을 구현할 수 있습니다.

개발자들은 이제 오토데스크 마야에서 AI 기반 얼굴 애니메이션(입술과 얼굴이 음성과 동기화돼 움직이는)을 위한 새로운 Audio2Face-3D 플러그인을 사용할 수 있습니다.

이 플러그인은 고품질의 오디오 기반 얼굴 애니메이션을 생성하는 프로세스를 간소화하여 게임 개발자와 기술 아티스트가 고품질 3D 그래픽을 제작할 수 있도록 지원합니다.

엔비디아는 에픽 게임즈의 언리얼 픽셀 스트리밍 기술을 활용하는 언리얼 엔진 5 렌더러 마이크로서비스를 구축했습니다.  이 마이크로서비스는 이제 엔비디아 에이스 애니메이션 그래프 마이크로서비스와 리눅스 운영 체제를 얼리 액세스로 지원합니다.

애니메이션 그래프 마이크로서비스는 사실적이고 반응성이 뛰어난 캐릭터 움직임을 가능하게 하며, 언리얼 픽셀 스트리밍 지원을 통해 개발자는 메타휴먼 창작물을 모든 장치로 스트리밍할 수 있습니다.