모델 따라 다르고 하는 일 따라 다릅니다

작은거 하는데는 게이밍 GPU 사서 맞추는데도 있고 큰거 하는데는 펀딩 잘 따면 학과 단위로 데이터센터 GPU 사서 쓰기도 하고 그렇습니다

딥러닝용 서버는 A5000쓰고있습니다 

실습실용은 4070ti쓰고있는데 랩실 컴퓨터들은 아직안바꿔서 2080정도 쓰고있네요 

CPU : Ryzen 7800

RAM : DDR4 128GB

GPU : RTX 3090Ti(24GB) + Quadro A5000(24GB)

SSD : 980 Pro 2TB + 870EVO 1TB

LLM 관련 연구하고있습니다.

드래곤볼로 모아서 쓰고있구요

현재 시점에서는 아직은 CPU모델보다는 GPU사용하는게 유리합니다

이때 LLM이나 Stable diffusion 이나 둘다 VRAM 큰게 깡패입니다

기업체 에서는 Quadro H100/A100 (VRAM 80GB) 병렬로 쓸거구요

개인단위에서는 3090TI x2 (48GB) 주로 쓸겁니다

저는 그냥 2개 따로 쓰구요 (5700G/64GB/A5000 ITX, 들고다니는 공개시연용)

RAM은 CPU모델쓸때 쓰거나 or 모델 풀고 병합할때 씁니다

돈 700은 쓴거 같은데.... 사재털어서 넣었습니다

게임은 안하고 AI 모델링하는 저의 그래픽 카드들 ㅠ

(제 게임용은 비루한 3080입니다)

놀라운건 이렇게 돈 좀 쓴 사양도... AI계에서는 그냥 그런 사양이에요

개인적으로 VRAM 40GB 되는 컨슈머용 모델좀 나왔으면합니다

PS. 대학원생(석박예정)입니다.... 그카 안사줘서 걍 제돈으로 샀어요

AI도 어떤 AI 기법을 주로 다르냐에 따라 사양이 다릅니다. 제가 있는 분야는 Semantic Segmentation이 메인 기법 중 하나라, 인텔 i7 + RTX 3060, 64GB 램 구성 데스크탑과 CPU(Ryzen EPYC 7002 듀얼 구성, 512GB 램), GPU 서버 (RTX A6000) 정도로 구성되어 있습니다. 

근데 Vision, LLM 쪽으로 가면 개인 PC는 인텔 i7 + RTX 3080 이상 구성이 되는데 LLM쪽은 잘 모르겠지만 Vision 쪽에서는 RTX 3080, RTX 3090Ti로도 솔직히 버겁습니다. 그래서 테스팅용 코드는 RTX 3080에서 몇 시간 돌려보고 완성되면 DGX Station A100 서버에서 돌리는 편이 낫다고 합니다.

서버도 RTX 3090TI x2 이상 구성 PC 부터 NVIDIA DGX Station A100 80GB 이상 여러 대를 두고 사용합니다.

석사과정 하고 있고 박사과정도 준비 중입니다.

이번에 새로 뽑은 사양이

스레드리퍼에 4090 2장으로 알고있습니다

연구실까진 아니지만 LLM용으로 4090 씁니다.

4090에서는 간단한 테스트 돌리고 실제 학습은 학교에서 빌려주는 A100 4장 쓰구요.

저흰 개인 노트북 가져다가

CPU: Xeon silver 4310 x2

RAM: DDR4 128GB 2667Mhz ECC x8

GPU: RTX A6000 x10

SSD: 512GB M.2 Pcie + 14TB SATA (RAID 검)

정도 사양의 서버 SSH 연결해서 사용하고 있습니다.

국내 모 AI 회사에 들어간 개인용 데탑은

CPU 12900K or 12700K or 5950x

GPU 3090(1~2ea) or 4090 (1ea)

정도였고, IDC에는 고사양의 경우

CPU : 인텔 골드 62XX/63XX *2

GPU : 3090 blower / A5000 / A6000 (~8ea)

정도로 들어갔습니다. 납품한지 좀 된거라 사양 감안하시면 됩니다.