미니 아아 이것은 공랭 이라는 것이다
- 하늘목장
- 조회 수 1159
- 2023.04.25. 00:44
공랭 (외기) 입니다
3090Ti 열심히 LoRA 데이터 학습중입니다
흔한 강화유리 밀폐형 케이스 85도 찍길래
강화유리빼고 창문열고 창문에 붙였더니
효과 확실하네요
현재 바깥기온 6도 / 3090온도 60도 입니다 ㅋㅋㅋ
외부공랭 확실하군요
수랭 갖고싶읍니다
대충 언리얼엔진 raw data 테스트용 학습중입니다
제가 게임을 안해요 ㅠㅠㅠㅠㅠ
LLM이라고 거대언어모델이 있습니다 이게 24GB Vram도 학습돌리는게 간당간당합니다
현재 LLM 연구하는사람들 대세는 ㅋㅋ A100 (80GB)나 H100이거든요.....
저는 개인입장에서 Local에서 돌리는 모델 훈련중인데 24GB Vram조차 조금 빡셉니다.
속도야 같은 학습을 돌려도 4090이 조금 더 빠르긴한데, 이게 훈련돌리다가 램부족으로 뻗대면 빡치거든요
그래서 오히려 NVLink 되는 3090TI를 하나 더 살까 (48GB) 고민중입니다.
40gb만 넘어도 대다수는 잘 돌아가는데...
코스트가 대충 200....(카드+nvlink+보드바꿔야하고+파워바꿔야하고)
제가 게임은 안하다보니....4090 메릿이 잘 모르겠습니다 ㅠㅠㅠ
재밌는거 좀 알려드리면, 이게 진짜 ㅋㅋㅋㅋ 돈먹는 하마입니다
대충 모델이 20-50GB 정도되는데
이걸 일단 읽어서 1차로 RAM에 올립니다.
(읽는속도 중요하죠 그래서 PCIE 4.0 SSD 필수)
RAM에 올리니까 RAM이 또 최소 32GB는 필요합니다.
그리고 여기서 필요한부분을 VRAM에 올리고 연산해야하는데
그래서 VRAM이 또 커야합니다 ㅋㅋㅋㅋ
제가 이걸 처음에 i5/16/3060 12gb에서 했거든요
12gb라서 다행히 언어모델은 잘 올라가서 사용은 가능했습니다만, 훈련이 안되더라구요
그리고 ㅋㅋㅋ 16gb면 무슨일이 일어나냐면
모델을 로딩함 -> 램이부족함 ->스왑 -> SSD에서 읽어서 SSD(스왑메모리)에 씀
근데 이때 쓰던 SSD가 NV1 QLC 1TB 였거든요. 와 프리징이...와...예술 그자체. ㅋㅋㅋ 프리징에 빡쳐서
다음날 바로 ram 64gb 구매 980 Pro 구매 후 만져보다 Vram 너무 적어서 3090ti로 넘어왔습니다 ㄷㄷ
3080이 집 메인컴인데 3080은 10gb라 vram큰게 필요해서 샀습니다 ㅎㅎ
지금 LLM 하시는 분들은 (자금여유되면) A100 혹은 3090Ti SLI가 대세인듯하더라구요
아 이것도 일종의 머신러닝입니다 그래서 돈 많이 듭니다 ㅋㅋ
저는 반은 취미 반은 직장 관련 이라서 겸사겸사 하고있고 (제 PC지만 직장에있어서 전기세는 안냄 ㅋㅋㅋ)
그 지금은 980 PRo 쓰는데 오기전에 잠시 PM9a1 썼습니다만 드라마틱한 효과는 못느꼈습니다.
랜덤쓰기보다는 모델에 올릴때 20-50gb를 로딩하니 순차읽기속도가 가장중요한 것 같습니다.
오히려 cpu는 크게 중요하지 않고 (물론 CPP라고 있는데 cpu 로 돌리는 거라고 생각하시면됩니다.)
현시점에서는 GPU VRAM이 큰게 최고인 듯 합니다.
관심있으시면 한 번 검색만 해보세요.
이게 지금 딱 떡상(?) 하는 도입시기라 (LLaMA 공개가 23.02.24) 진짜 금방금방바뀌어서
적응하는거도 좀 힘들지만 옆에서 보면 재밌습니다
저도 경영, 회계 쪽 그나마 문돌이 중 가장 나은 문돌이인데, 직장인반으로 파이썬 배울 때 폰테크도 하시고, 채굴도 해보셨고, 이러면 머신러닝이나 빅데이터 쪽으로 부업으로 해보라고 쌤이나 관련 업계 분들께서 권해주셨는데, 진지하게 해볼까도 고민 중이어요.
제가 노트북도 i9-13980HX에 4080이고, 데스크톱을 감성은 없지만 대장급(에이수스로 치면 막시무스 스) 보드에 P600S 케이스에 3열 수랭, 아틱 P14 PMW로 데스크톱 맞춰놨는데 단순하게 어크하고 문명 6 하고, 토탈 워 시리즈 하기에는 아쉽더라고요.
집에서 내내 데톱이 노니까요. 배우고 부업 입문하기에 어렵진 않나요??
일단 제가 여러군데 돌아다녀봤는데 아카라이브 거대언어모델채널이 의외로 양질의 자료가 많습니다. 여기 한번 살펴보시구요
저도 비전공자 (본업은 의료보건계통입니다_) 인데 그냥 타이밍이 맞아서 직장에서 이쪽한번 건드려볼까해서 직장에서 개념실증? 정도 로 진행하고있습니다
부업이라... 솔직히 말하면 이게 돈이 되는지는 모르겠어요
하는게 장점은 될건데, 이게 시장(취업시장이던 필드던)에서 특출난 강점이 되는가... 가 잘 모르겠네요
저처럼 프로젝트에 LLM을 끼얹는거 정도는 좋습니다.
근데 당장 언어모델만 가지고 뭘 할 수 있냐 하면 아직 개발단계 (LLaMA가 올해 2월에 나왔습니다) 라서 저도 잘모릅니다 ㅋㅋ...
그 근래에 그림그려주는 Stable Diffusion 들어보셨죠?
이런느낌이에요 (실제로 원리는 비슷합니다)
그림 완전 잘 그려주는데 이게 그래서 어디에??
뭔가 상업용으로 쓰기도 애매하고 독자적으로 쓰긴 좀 그렇죠? Add-on 형식인데..
그래도 그 근간의 파이썬 pytorch 등 쓰는 모듈등 찾아보면 공부할 건 많습니다
개인적으로 이거 해보면서 느낀게..살짝 고오오급 취미 같았어요
들어가는 돈은 많은데
아웃풋은 그닥..... / 물론 재미는 있습니다 그래서 취미 같지만요 돈을 버는가는 잘 모르겠습니다
이거도 머신러닝이고 빅데이터인데
쨋든 지금 모델에 데이터를 정제 해서 넣고 돌리는거도 아직까지는 사람이 어느정도 해야합니다
이러한 자리를 들어갈수있다? 는 좋은데 그자리가 없죠?
대충 사양은 충분하시네요
제가 올렸지만 램 64기가이상 (32도 부족하더라구요) 4090 쓰시면
현재 언어모델에서는
7B모델은 학습까지
30B는 실행까지는 거뜬할겁니다 ㅎ
창문에 붙은 벌레굽기 에디숑 ㄷㄷ...