은 데이터 확보도 모델 개선도 아닌 컴퓨팅 파워 확보입니다. 

알려진 ChatGPT의 모델 파라미터 갯수가 175B (Billion) 정도라고 하니, FP16 모델이라고 가정했을 때 추론 용으로 모델을 서빙하는 데에만 320GB 정도의 VRAM을 가진 GPU가 필요합니다. NVIDIA의 A100 80GB GPU를 4장 묶어서 하나의 추론 인스턴스로 쓰는 것 아니냐는 추정이 유력한 이유입니다.

다만 추론 인스턴스 하나로 모든 동시 접속을 처리할 수는 없을테니 실제로는 저 규모의 n배만큼 인프라 비용이 올라간다고 보는게 타당할 거고요.

그럼 A100 가격이 얼마냐구요? 보통 저 정도의 데이터센터용 그래픽 카드는 벌크로 몇십장 씩 구매하기 때문에 개별 소매가를 정확하게 알기는 어렵습니다만... 위에서 언급한 A100을 네장 꼽은 워크스테이션을 엔비디아에서 DGX-A100 이라는 이름으로 판매하는데요. 이게 $149,000, 우리나라 가격으로는 2억 조금 안합니다(...)