미니 AI 연구하는 대학 연구실에서 사용하는 컴퓨터 사양은 어느정도 되나요?
- PatGelsinger
- 조회 수 1898
- 2023.10.21. 12:16
학부생, 대학원생 상관없이
대학에서 AI 연구하고 계신분들이 공통적으로 성능에 엄청 목말라 하시는데 대략적으로 사용하는 컴퓨터 사양이 어느정도 되는지 궁금합니다
AI 분야가 때려박고 때려박아도 부족하긴 하지만 어느정도인지를 몰라서 궁금하네요
CPU : Ryzen 7800
RAM : DDR4 128GB
GPU : RTX 3090Ti(24GB) + Quadro A5000(24GB)
SSD : 980 Pro 2TB + 870EVO 1TB
LLM 관련 연구하고있습니다.
드래곤볼로 모아서 쓰고있구요
현재 시점에서는 아직은 CPU모델보다는 GPU사용하는게 유리합니다
이때 LLM이나 Stable diffusion 이나 둘다 VRAM 큰게 깡패입니다
기업체 에서는 Quadro H100/A100 (VRAM 80GB) 병렬로 쓸거구요
개인단위에서는 3090TI x2 (48GB) 주로 쓸겁니다
저는 그냥 2개 따로 쓰구요 (5700G/64GB/A5000 ITX, 들고다니는 공개시연용)
RAM은 CPU모델쓸때 쓰거나 or 모델 풀고 병합할때 씁니다
돈 700은 쓴거 같은데.... 사재털어서 넣었습니다
게임은 안하고 AI 모델링하는 저의 그래픽 카드들 ㅠ
(제 게임용은 비루한 3080입니다)
놀라운건 이렇게 돈 좀 쓴 사양도... AI계에서는 그냥 그런 사양이에요
개인적으로 VRAM 40GB 되는 컨슈머용 모델좀 나왔으면합니다
PS. 대학원생(석박예정)입니다.... 그카 안사줘서 걍 제돈으로 샀어요
AI도 어떤 AI 기법을 주로 다르냐에 따라 사양이 다릅니다. 제가 있는 분야는 Semantic Segmentation이 메인 기법 중 하나라, 인텔 i7 + RTX 3060, 64GB 램 구성 데스크탑과 CPU(Ryzen EPYC 7002 듀얼 구성, 512GB 램), GPU 서버 (RTX A6000) 정도로 구성되어 있습니다.
근데 Vision, LLM 쪽으로 가면 개인 PC는 인텔 i7 + RTX 3080 이상 구성이 되는데 LLM쪽은 잘 모르겠지만 Vision 쪽에서는 RTX 3080, RTX 3090Ti로도 솔직히 버겁습니다. 그래서 테스팅용 코드는 RTX 3080에서 몇 시간 돌려보고 완성되면 DGX Station A100 서버에서 돌리는 편이 낫다고 합니다.
서버도 RTX 3090TI x2 이상 구성 PC 부터 NVIDIA DGX Station A100 80GB 이상 여러 대를 두고 사용합니다.
석사과정 하고 있고 박사과정도 준비 중입니다.
모델 따라 다르고 하는 일 따라 다릅니다
작은거 하는데는 게이밍 GPU 사서 맞추는데도 있고 큰거 하는데는 펀딩 잘 따면 학과 단위로 데이터센터 GPU 사서 쓰기도 하고 그렇습니다