사진엔 안나왔지만

메시망과 그앞에 대형팬으로 먼지를 막고는 있습니다 ㄷㄷ

안그래도 비오길래 바로 빼서 실내공랭중인데 온도 쫙쫙오르네요 ㅠㅠ

제가 원래 i5/16/512 정도면 만족하는 사람입니다

근데 저놈의 거대모델 만진다고 ㅋㅋㅋ

I7/128/2048/3090Ti 굴리고있죠......

그래서 원래는 공랭도 충분했는데

열쫙쫙오르는거보니 수랭마렵네요

캬 2TB는 별 거 없는데, 128기가 램이라니ㄷㄷㄷㄷㄷㄷ

3090 Ti 빨리 버리시고 4080이나 4090 오십쇼. 진짜 넘사벽입니다.

제가 게임을 안해요 ㅠㅠㅠㅠㅠ

LLM이라고 거대언어모델이 있습니다 이게 24GB Vram도 학습돌리는게 간당간당합니다

현재 LLM 연구하는사람들 대세는 ㅋㅋ A100 (80GB)나 H100이거든요.....

저는 개인입장에서 Local에서 돌리는 모델 훈련중인데 24GB Vram조차 조금 빡셉니다.

속도야 같은 학습을 돌려도 4090이 조금 더 빠르긴한데, 이게 훈련돌리다가 램부족으로 뻗대면 빡치거든요

그래서 오히려 NVLink 되는 3090TI를 하나 더 살까 (48GB) 고민중입니다.

40gb만 넘어도 대다수는 잘 돌아가는데...

코스트가 대충 200....(카드+nvlink+보드바꿔야하고+파워바꿔야하고)

제가 게임은 안하다보니....4090 메릿이 잘 모르겠습니다 ㅠㅠㅠ

아아 거대 언어 모델이군요ㄷㄷㄷㄷ 미코에 걸맞는 진정한 전문가

재밌는거 좀 알려드리면, 이게 진짜 ㅋㅋㅋㅋ 돈먹는 하마입니다

대충 모델이 20-50GB 정도되는데

이걸 일단 읽어서 1차로 RAM에 올립니다.
(읽는속도 중요하죠 그래서 PCIE 4.0 SSD 필수)

RAM에 올리니까 RAM이 또 최소 32GB는 필요합니다.

그리고 여기서 필요한부분을 VRAM에 올리고 연산해야하는데

그래서 VRAM이 또 커야합니다 ㅋㅋㅋㅋ

제가 이걸 처음에 i5/16/3060 12gb에서 했거든요

12gb라서 다행히 언어모델은 잘 올라가서 사용은 가능했습니다만, 훈련이 안되더라구요

그리고 ㅋㅋㅋ 16gb면 무슨일이 일어나냐면

모델을 로딩함 -> 램이부족함 ->스왑 -> SSD에서 읽어서 SSD(스왑메모리)에 씀

근데 이때 쓰던 SSD가 NV1 QLC 1TB 였거든요. 와 프리징이...와...예술 그자체. ㅋㅋㅋ 프리징에 빡쳐서

다음날 바로 ram 64gb 구매 980 Pro 구매 후 만져보다 Vram 너무 적어서 3090ti로 넘어왔습니다 ㄷㄷ

3080이 집 메인컴인데 3080은 10gb라 vram큰게 필요해서 샀습니다 ㅎㅎ

지금 LLM 하시는 분들은 (자금여유되면) A100 혹은 3090Ti SLI가 대세인듯하더라구요

와 진짜 VRAM 큰 건 진짜 대안이 3090이나 3090 Ti, A100밖에 없겠네요.

PCIe 4.0 SSD도 PM9A1 랜덤 쓰기 속도 느려서 하이닉스 제품 쓰고 그래야 하나요?

RAM에 SSD, VRAM 진짜 플래그십으로 가는 수밖에 없네요.

머신러닝처럼 돈 많이 드는 거군요.

아 이것도 일종의 머신러닝입니다 그래서 돈 많이 듭니다 ㅋㅋ

저는 반은 취미 반은 직장 관련 이라서 겸사겸사 하고있고 (제 PC지만 직장에있어서 전기세는 안냄 ㅋㅋㅋ)

그 지금은 980 PRo 쓰는데 오기전에 잠시 PM9a1 썼습니다만 드라마틱한 효과는 못느꼈습니다.

랜덤쓰기보다는 모델에 올릴때 20-50gb를 로딩하니 순차읽기속도가 가장중요한 것 같습니다.

오히려 cpu는 크게 중요하지 않고 (물론 CPP라고 있는데 cpu 로 돌리는 거라고 생각하시면됩니다.)

현시점에서는 GPU VRAM이 큰게 최고인 듯 합니다.

관심있으시면 한 번 검색만 해보세요.

이게 지금 딱 떡상(?) 하는 도입시기라 (LLaMA 공개가 23.02.24) 진짜 금방금방바뀌어서

적응하는거도 좀 힘들지만 옆에서 보면 재밌습니다

저도 경영, 회계 쪽 그나마 문돌이 중 가장 나은 문돌이인데, 직장인반으로 파이썬 배울 때 폰테크도 하시고, 채굴도 해보셨고, 이러면 머신러닝이나 빅데이터 쪽으로 부업으로 해보라고 쌤이나 관련 업계 분들께서 권해주셨는데, 진지하게 해볼까도 고민 중이어요.

제가 노트북도 i9-13980HX에 4080이고, 데스크톱을 감성은 없지만 대장급(에이수스로 치면 막시무스 스) 보드에 P600S 케이스에 3열 수랭, 아틱 P14 PMW로 데스크톱 맞춰놨는데 단순하게 어크하고 문명 6 하고, 토탈 워 시리즈 하기에는 아쉽더라고요.

집에서 내내 데톱이 노니까요. 배우고 부업 입문하기에 어렵진 않나요??

일단 제가 여러군데 돌아다녀봤는데 아카라이브 거대언어모델채널이 의외로 양질의 자료가 많습니다. 여기 한번 살펴보시구요

저도 비전공자 (본업은 의료보건계통입니다_) 인데 그냥 타이밍이 맞아서 직장에서 이쪽한번 건드려볼까해서 직장에서 개념실증? 정도 로 진행하고있습니다

부업이라... 솔직히 말하면 이게 돈이 되는지는 모르겠어요

하는게 장점은 될건데, 이게  시장(취업시장이던 필드던)에서 특출난 강점이 되는가... 가 잘 모르겠네요

저처럼 프로젝트에 LLM을 끼얹는거 정도는 좋습니다.

근데 당장 언어모델만 가지고 뭘 할 수 있냐 하면 아직 개발단계 (LLaMA가 올해 2월에 나왔습니다) 라서 저도 잘모릅니다 ㅋㅋ...

그 근래에 그림그려주는 Stable Diffusion 들어보셨죠?

이런느낌이에요 (실제로 원리는 비슷합니다)

그림 완전 잘 그려주는데 이게 그래서 어디에??

뭔가 상업용으로 쓰기도 애매하고 독자적으로 쓰긴 좀 그렇죠? Add-on 형식인데.. 

그래도 그 근간의 파이썬 pytorch 등 쓰는 모듈등 찾아보면 공부할 건 많습니다

개인적으로 이거 해보면서 느낀게..살짝 고오오급 취미 같았어요

들어가는 돈은 많은데

아웃풋은 그닥..... / 물론 재미는 있습니다 그래서 취미 같지만요 돈을 버는가는 잘 모르겠습니다

이거도 머신러닝이고 빅데이터인데

쨋든 지금 모델에 데이터를 정제 해서 넣고 돌리는거도 아직까지는 사람이 어느정도 해야합니다

이러한 자리를 들어갈수있다? 는 좋은데 그자리가 없죠?

대충 사양은 충분하시네요

제가 올렸지만 램 64기가이상 (32도 부족하더라구요) 4090 쓰시면 

현재 언어모델에서는

7B모델은 학습까지

30B는 실행까지는 거뜬할겁니다 ㅎ

뭐 볼링이나 테니스 같은 것도 고오급 취미에 가까운 느낌인데, 요즘 취미 생활 늘리기에 빠진 저로선 매력적으로 느껴지는 부분이 많네요.

소개해 준 커뮤니티인 아카라이브 거대언어모델채널 참고할게요ㅎㅎ

램은 사실 제가 32GB 썼던 이유가 제가 높은 ㎒에 램 타이밍 낮은 램을 쓰느라 그러는 건데, 뭐 XMP 포기하고 램 용량 올리는 것도 문제되진 않을 거 같아요. 이거 32기가 팔면 128기가 시금치 사고도 남는 가격인지라ㅋㅋㅋ 여튼 고맙습니다. 저도 한번 알아보도록 하겠습니다!