엔비디아는 오늘 마이크로소프트 빌드에서 엔비디아 지포스 RTX AI PC 및 엔비디아 RTX 워크스테이션에서 최고의 성능을 제공하는 새로운 윈도우용 AI 성능 최적화 및 통합을 발표했습니다.

 

LLM(대규모 언어 모델)은 제너레이티브 AI에서 가장 흥미로운 새로운 사용 사례 중 일부를 지원하며, 이제 새로운 NVIDIA R555 Game Ready 드라이버를 사용하는 ONNX 런타임(ORT) 및 DirectML을 통해 최대 3배 더 빠르게 실행됩니다. ORT와 DirectML은 Windows PC에서 로컬로 AI 모델을 실행하는 데 사용되는 고성능 툴입니다.

 

웹 개발자가 AI 모델을 배포할 수 있는 애플리케이션 프로그래밍 인터페이스인 WebNN은 이제 DirectML을 통해 RTX로 가속화되어 웹 앱에 빠른 AI 기반 기능을 통합할 수 있게 되었습니다. 또한 파이토치는 DirectML 실행 백엔드를 지원하여 윈도우 개발자가 윈도우에서 기본적으로 복잡한 AI 모델을 훈련하고 추론할 수 있도록 지원합니다. 엔비디아와 마이크로소프트는 RTX GPU의 성능을 확장하기 위해 협력하고 있습니다.

 

이러한 발전은 전 세계 1억 대 이상의 RTX AI PC 및 워크스테이션에서 500개 이상의 애플리케이션과 게임을 가속화하는 NVIDIA의 세계 선도적인 AI 플랫폼을 기반으로 합니다.

 

RTX AI PC - 게이머, 크리에이터 및 개발자를 위한 향상된 AI

NVIDIA는 2018년에 텐서 코어가 탑재된 최초의 AI 가속 전용 PC GPU인 GeForce RTX 20 시리즈와 함께 Windows에서 실행되는 최초의 널리 채택된 AI 모델인 NVIDIA DLSS를 출시했습니다. 최신 GPU는 초당 최대 1,300조 회의 AI 전용 연산 성능을 제공합니다.

 

앞으로 몇 달 안에 새로운 전력 효율적 시스템 온 칩과 RTX GPU를 탑재한 Copilot+ PC가 출시되어 게이머, 크리에이터, 매니아, 개발자에게 Microsoft의 새로운 Copilot+ 기능과 함께 까다로운 로컬 AI 워크로드를 처리할 수 있는 향상된 성능을 제공할 예정입니다.

 

RTX AI PC를 사용하는 게이머를 위해 NVIDIA DLSS는 프레임 속도를 최대 4배까지 끌어올리고, NVIDIA ACE는 AI 기반 대화, 애니메이션 및 음성으로 게임 캐릭터에 생동감을 불어넣습니다.

 

콘텐츠 크리에이터의 경우, RTX는 Adobe Premiere, Blackmagic 디자인 다빈치 리졸브 및 블렌더와 같은 앱에서 AI 지원 제작 워크플로우를 강화하여 지루한 작업을 자동화하고 워크플로우를 간소화합니다. 3D 노이즈 제거 및 가속 렌더링부터 텍스트 이미지 및 비디오 생성에 이르기까지 이러한 툴은 아티스트가 자신의 비전을 현실로 구현할 수 있도록 지원합니다.

 

게임 모더를 위해 NVIDIA Omniverse 플랫폼에 구축된 NVIDIA RTX Remix는 클래식 PC 게임의 RTX 리마스터를 제작할 수 있는 AI 가속 툴을 제공합니다. 게임 에셋을 캡처하고, 제너레이티브 AI 툴로 머티리얼을 개선하고, 풀 레이 트레이싱을 통합하는 것이 그 어느 때보다 쉬워졌습니다.

 

라이브 스트리머를 위해 NVIDIA Broadcast 애플리케이션은 고품질 AI 기반 배경 제거 및 노이즈 제거 기능을 제공하며, NVIDIA RTX Video는 스트리밍된 비디오 품질을 향상시키기 위해 AI 기반 업스케일링 및 자동 HDR(High-Dynamic Range)을 제공합니다.

 

생산성을 향상시키는 RTX GPU 기반 LLM은 AI 어시스턴트 및 코파일럿을 더 빠르게 실행하고 여러 요청을 동시에 처리할 수 있습니다.

 

또한 개발자는 RTX AI PC를 통해 NVIDIA AI 워크벤치, NVIDIA cuDNN, Linux용 Windows 서브시스템의 CUDA 등 NVIDIA의 AI 개발자 도구를 사용하여 장치에서 직접 AI 모델을 빌드하고 미세 조정할 수 있습니다. 또한 개발자는 RTX 가속 AI 프레임워크와 NVIDIA TensorRT, NVIDIA Maxine 및 RTX Video와 같은 소프트웨어 개발 키트에 액세스할 수 있습니다.

 

AI 기능과 성능의 결합은 게이머, 크리에이터 및 개발자에게 향상된 경험을 제공합니다.

 

웹 개발자를 위한 더 빠른 LLM과 새로운 기능

 

Microsoft는 최근 AI 추론을 위한 크로스 플랫폼 라이브러리인 ORT용 제너레이티브 AI 확장 기능을 출시했습니다. 이 확장 기능에는 Phi-3, Llama 3, Gemma 및 Mistral과 같은 LLM에 대한 양자화와 같은 최적화 기술이 추가되었습니다. ORT는 DirectML을 비롯한 다양한 소프트웨어 및 하드웨어 스택을 통한 추론을 위해 다양한 실행 제공자를 지원합니다.

 

DirectML 백엔드가 포함된 ORT는 광범위한 Windows PC 에코시스템에 대한 안정성과 프로덕션급 지원을 통해 Windows AI 개발자에게 AI 기능을 빠르게 개발할 수 있는 경로를 제공합니다. 현재 R555 Game Ready, Studio 및 NVIDIA RTX 엔터프라이즈 드라이버에서 제공되는 ORT용 생성 AI 확장에 대한 NVIDIA 최적화를 통해 개발자는 이전 드라이버에 비해 RTX에서 최대 3배 빠른 성능을 얻을 수 있습니다.

 

최신 R555 GeForce 드라이버와 함께 ONNX 런타임 및 DirectML 실행 제공자를 사용하는 세 가지 LLM에 대한 추론 성능은 이전 R550 드라이버와 비교했습니다. 문서 요약 워크로드를 대표하는 INSEQ=2000. 모든 데이터는 배치 크기 1을 사용해 GeForce RTX 4090 GPU로 캡처했습니다. int4 양자화를 위한 생성 AI 확장 지원과 NVIDIA 최적화를 통해 LLM의 성능이 최대 3배 빨라졌습니다.

 

개발자는 새로운 R555 드라이버를 통해 RTX 하드웨어의 모든 기능을 활용하여 소비자에게 더 나은 AI 경험을 더 빠르게 제공할 수 있습니다. 여기에는 다음이 포함됩니다:

 

-LLM의 INT4 가중치 전용 양자화를 처리하기 위한 DQ-GEMM 메타커맨드 지원

-라마 2, 라마 3, 미스트랄 및 파이 3 모델을 위한 새로운 RMSNorm 정규화 방법

-그룹 및 다중 쿼리 주의 메커니즘과 슬라이딩 윈도우 주의가 Mistral을 지원합니다.

-인플레이스 KV 업데이트를 통한 어텐션 성능 향상

-컨텍스트 단계 성능 향상을 위한 8의 배수 아닌 텐서의 GEMM 지원

 

또한, NVIDIA는 브라우저 내에서 직접 RTX GPU의 강력한 성능을 제공할 수 있도록 WebNN 내에서 AI 워크플로우를 최적화했습니다. WebNN 표준은 웹 앱 개발자가 텐서 코어와 같은 온디바이스 AI 가속기로 딥 러닝 모델을 가속화하는 데 도움이 됩니다.

 

현재 개발자 프리뷰 버전으로 제공되는 WebNN은 브라우저 내 모델 실행을 위한 Javascript 라이브러리인 DirectML과 ORT Web을 사용하여 여러 플랫폼에서 AI 애플리케이션의 접근성을 높입니다. 이러한 가속화를 통해 Stable Diffusion, SD Turbo 및 Whisper와 같은 인기 모델은 WebGPU에 비해 WebNN에서 최대 4배 빠르게 실행되며 이제 개발자가 사용할 수 있습니다. Microsoft Build 참석자는 5월 22일(수) 오전 11시(태평양 표준시)에 진행되는 RTX AI로 Windows PC에서 개발 가속화하기 오프라인 세션에서 RTX로 개발하는 방법에 대해 자세히 알아볼 수 있습니다.