마이크론은 자사의 8단 24GB HBM3 Gen2 제품이 기존 제품 대비 최대 50% 개선된 1.2TB/s 이상의 대역폭을 달성했으며, 전력대 성능비도 2.5배 이상 개선되었다고 발표했다.

마이크론은 8단 HBM3 Gen2 24GB 메모리를 통해 GPT-4와 같은 대규모 언어 모델 훈련이나 AI 추론, 데이터 센터 등에서 전력 효율과 고용량 메모리에 대한 요구를 충족시켜 줄 수 있다고 자신감을 표명했다.

또한 대규모 언어 모델의 훈련 시간을 30% 이상 단축시키는 것은 물론이고, 약 1천만개의 GPU가 설치된 AI 데이터 센터의 경우 HBM 큐브당 5W의 전력 절감 효과를 볼 수 있고, 이는 5년간 최대 5억 5천만 달러의 운영 비용 절감으로 이어져 TCO 절감 효과도 기대할 수 있다고 주장했다.