![RBPT](https://meeco.kr/files/member_extra_info/profile_image/111/130/024/24130111.png?20200329202742)
ChatGPT 류의 거대 언어 모델 서비스의 가장 큰 걸림돌
- RBPT
- 조회 수 298
- 2023.01.29. 16:11
은 데이터 확보도 모델 개선도 아닌 컴퓨팅 파워 확보입니다.
알려진 ChatGPT의 모델 파라미터 갯수가 175B (Billion) 정도라고 하니, FP16 모델이라고 가정했을 때 추론 용으로 모델을 서빙하는 데에만 320GB 정도의 VRAM을 가진 GPU가 필요합니다. NVIDIA의 A100 80GB GPU를 4장 묶어서 하나의 추론 인스턴스로 쓰는 것 아니냐는 추정이 유력한 이유입니다.
다만 추론 인스턴스 하나로 모든 동시 접속을 처리할 수는 없을테니 실제로는 저 규모의 n배만큼 인프라 비용이 올라간다고 보는게 타당할 거고요.
그럼 A100 가격이 얼마냐구요? 보통 저 정도의 데이터센터용 그래픽 카드는 벌크로 몇십장 씩 구매하기 때문에 개별 소매가를 정확하게 알기는 어렵습니다만... 위에서 언급한 A100을 네장 꼽은 워크스테이션을 엔비디아에서 DGX-A100 이라는 이름으로 판매하는데요. 이게 $149,000, 우리나라 가격으로는 2억 조금 안합니다(...)
![RBPT](https://meeco.kr/files/member_extra_info/profile_image/111/130/024/24130111.png?20200329202742)
2141 / 1260 / 2217 / 1864 / 2014 / 2093 / 1842 / 2190 / 2093 / 2094 / 1998
댓글
azure에서 독점 제공할 수밖에 없는 이유가 저거라고 추측들을 많이 하더라고요. 저도 공감합니다.