AI 클라우드 제공업체 텐서웨이브는 LLM(대규모 언어 모델) 추론 AI 워크로드에서 AMD의 MI300X 가속기와 NVIDIA의 H100을 비교하는 벤치마크를 실시, 결과를 공개했습니다.

그 결과 AMD MI300X는 오프라인 테스트에서 다양한 배치 크기에서 엔비디아 H100보다 최대 3배 빠른 추론 속도를 제공하면서 인상적인 성능을 입증했습니다.

실제 채팅 애플리케이션을 시뮬레이션하는 온라인 테스트에서 MI300X는 낮은 지연 시간을 유지하면서 두 개의 H100 GPU에 비해 33% 더 높은 처리량(초당 요청 수)을 달성했습니다.

AMD의 MI300X는 원시 속도 면에서 H100을 능가할 뿐만 아니라, 공급 제약에 직면한 H100과 달리 가격 경쟁력도 뛰어나며 쉽게 구할 수 있습니다.

텐서웨이브는 MI300X의 장점을 강조하며 AI 추론 능력을 확장하고자 하는 기업에게 탁월한 선택이라고 추천했습니다.