소식 인텔, 가우디3 AI 가속기 공개: H100 대비 성능 50%, 효율성 40% 향상
- BarryWhite
- 조회 수 271
- 2024.04.10. 11:13
- 인텔은 5nm 공정 노드를 탑재하고 엔비디아의 H100 GPU와 직접 경쟁하는 가우디 3 AI 가속기를 출시했습니다.
- 가우디 3는 64개의 텐서 코어, 96MB 캐시 풀, 최대 128GB 용량과 3.7TB/s 대역폭을 갖춘 8개의 HBM 사이트를 자랑합니다.
- 메자닌 OAM 및 PCIe AIC 폼 팩터로 제공되며, 600W에서 900W 이상의 전력 옵션을 제공합니다.
- 이 가속기는 이전 버전에 비해 BF16의 AI 컴퓨팅은 4배, 메모리 대역폭은 1.5배, 네트워킹 대역폭은 2배 증가했습니다.
- 주요 기능으로는 AI 전용 컴퓨팅 엔진, 대규모 언어 모델 용량 요구 사항을 위한 메모리 부스트, 엔터프라이즈 GenAI를 위한 효율적인 시스템 확장이 있습니다.
- 인텔 가우디 소프트웨어는 파이토치 프레임워크를 통합하고 최적화된 허깅 페이스 커뮤니티 기반 모델을 제공합니다.
- 가우디 3 가속기는 엔비디아의 H100 GPU에 비해 평균 50% 더 빠른 훈련 시간과 50% 더 빠른 추론 처리량을 제공할 것으로 예상됩니다.
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
댓글
0
