AI 붐으로 인해 인공지능(AI) 및 고성능 컴퓨팅(HPC)에 사용되는 서버의 판매가 증가하고 있으며, 수십 개의 회사가 이로부터 혜택을 받을 것입니다. 하지만 한 회사가 다른 회사보다 더 많은 혜택을 볼 가능성이 높습니다. 파이낸셜 타임즈에 따르면 엔비디아는 2023년에 수백억 달러에 달하는 하이엔드 H100 컴퓨팅 GPU를 50만 대 이상 판매할 것으로 예상됩니다.

파이낸셜 타임즈에 따르면 엔비디아는 2023년에 약 55만 대의 최신 H100 컴퓨팅 GPU를 전 세계에 출하할 예정이며, 대부분은 미국 기술 기업에 공급될 것이라고 엔비디아 및 TSMC와 관련된 복수의 내부 관계자가 말했습니다. 엔비디아는 이 문제에 대해 어떠한 언급도 하지 않기로 결정했는데, 이는 FTC 규정을 고려할 때 이해할 수 있는 결정입니다.

판매된 GPU의 정확한 조합은 알 수 없지만, 각 엔비디아 H100 80GB HBM2E 컴퓨팅 GPU 애드인 카드(14,592 CUDA 코어, 26 FP64 TFLOPS, 1,513 FP16 TFLOPS)는 미국에서 약 3만 달러에 판매되지만, 이는 회사의 최고 성능 호퍼 아키텍처 기반 부품이 아닙니다. 사실, 이것은 적어도 현재로서는 가장 저렴한 제품입니다. 반면 중국에서는 이러한 카드 하나가 7만 달러에 달할 수 있습니다.

엔비디아의 최고급 H100 기반 제품에는 H100 SXM 80GB HBM3(16,896 CUDA 코어, 34 FP64 TFLOPS, 1,979 FP16 TFLOPS) 및 H100 NVL 188GB HBM3 듀얼 카드 솔루션이 포함됩니다. 이러한 부품은 폭스콘이나 콴타 같은 서버 제조업체에 직접 판매되거나 엔비디아가 직접 판매하는 서버 내부에 공급됩니다. 또한, 엔비디아는 72코어 그레이스 프로세서와 H100 80GB HBM3E 컴퓨팅 GPU로 구성된 GH200 그레이스 호퍼 플랫폼을 곧 출시할 예정입니다.

엔비디아는 H100 SXM, H100 NVL, GH200 그레이스 호퍼 제품의 가격은 엔비디아와 특정 고객 간의 물량 및 비즈니스 관계에 따라 달라질 수 있기 때문에 공개하지 않았습니다. 한편, 엔비디아가 H100 기반 제품을 각각 3만 달러에 판매한다고 해도 최신 세대 컴퓨팅 GPU에서만 올해 165억 달러에 달할 것입니다. 하지만 엔비디아는 H100 시리즈 컴퓨팅 GPU만 판매하지 않습니다.

소프트웨어와 하드웨어를 변경하지 않고도 기존 배포를 강화하기 위해 여전히 엔비디아의 이전 세대 A100 컴퓨팅 GPU를 사용하는 회사들이 있습니다. 중국 전용 A800 및 H800 모델도 있습니다.

엔비디아의 컴퓨팅 GPU 판매 수익이 어느 정도일지, 올해 엔비디아가 판매할 정확한 컴퓨팅 GPU 대수는 얼마인지 정확히 예측할 수는 없지만, 몇 가지 추측을 해볼 수는 있습니다. 엔비디아의 데이터센터 사업 부문은 2024 회계연도 1분기(4월 30일 마감)에 42억 8,400만 달러의 매출을 올렸습니다. 현재 진행 중인 AI 열풍을 감안할 때, 7월 말에 종료된 2024 회계연도 2분기에는 엔비디아의 컴퓨팅 GPU 매출이 더 높았을 것으로 보입니다. 즉, 2023 회계연도 전체가 엔비디아의 데이터센터 부문에서 기록적인 실적을 기록할 것으로 예상됩니다.

주목할 만한 점은 엔비디아의 파트너인 TSMC가 현재 컴퓨팅 GPU에 대한 수요를 거의 충족시키지 못하고 있다는 점인데, 이는 모든 컴퓨팅 GPU가 CoWoS 패키징을 사용하고 파운드리가 이 칩 패키징 방식의 용량을 늘리기 위해 고군분투하고 있기 때문입니다. 수많은 기업이 AI를 위해 수만 개의 컴퓨팅 GPU를 구매하고자 하는 상황에서 공급이 수요를 따라잡지 못할 가능성이 높습니다.