엔비디아 5090도 저정도는 죽어도 안 될 것 같기는 해요.

개인이 그나마 살 수 있는 영역 내에서는 대역폭/용량 다 챙긴 게 아닐까 하네요. 맥 스튜디오 기준으로..

A100 까지 가면 뭐 대역폭이 느리긴 하지만, 맥 제품들 같은 경우 썬더볼트 4/5로 주렁주렁 늘려서 LLM 돌리더군요. 맥 미니 M4 프로 모델을 5대 까지 연결하고 분산시켜서 돌리는 사람 봤습니다. ㄷㄷ

LLM이면 사실 전 윈도우/맥/리눅스 구분하는 거 별 의미는 없다고 생각하는 편이라.. ㅎㅎ;;

OS문제가 아니라 쿠다때문에 엔비디아랑 비교하면 토큰생성속도가 더럽게 느려요. 

3090 두개만 묶어도 70b 기준 M4 맥스보다 최소 세밴가 빠를걸요. 

4090으로도 VRAM 용량 때문에 못돌리네 마네 그러던데 3090 두개로도 그게 된다구요..? ㄷㄷ;; LLM 커뮤 자주 들락날락 거리는데 확인을 해봐야겠네요.

사실 A6000 하나로도 토큰 생성이 M2울트라 3대 병렬에 비해 5배 정도 빨랐던 걸로 기억합니다

A6000이 1250만원인가 그랬을거에요

세팅 편의성으로 따지면 M3 울트라 한대 놓는게 좋겠지만, 가격 생각하면 사실 가성비가 아닌... CPU+보드+파워 200만원 잡고 3090 4개만 넣어도 맥 스튜디오정돈 따위로 만드니까요.

이용자가 적은 개인/폐쇄 서비스 한정하면 M3울트라 한대나 병렬연결이 맞습니다만

다만 이걸 대외 서비스로 한다면 맥으로는 한계가 맞죠

세팅 편의성을 따지면 M3 울트라 한 대가 맞는데 컴퓨터에 대해 어느정도 지식이 있으면 그냥 3090 몇개 구해서 묶는게 낫습니다. 물론 전력소모는 훨씬 크겠지만 성능차이도 좀 많이 나기 때문에...

512기가 메모리 제품은 어떨지 모르겠지만요.

개인이 돌리는 범위 안에서 스튜디오 말고도 맥 미니 5대 이상 병렬로 연결해서 쓰긴 쓰더군요.

괜히 웃돈주고 4090 긁어다가 V램 개조를 하는게 아니더라고요

4090자체를 96GB A6000으로 개조해서 공급한다합니다

OS 문제가 아니라 엔비디아가 안되는게 문제입니다.

물론 어제도 적었지만 개인이 돌리는 범위 내입니다. 학습에서 쿠다 중요한 거 모르는 사람이 있나 모르겠네요.

맥 미니 병렬연결하는거 본체 짜는거 이상으로 번거로워서 그냥 재미삼아 하는 수준입니다. 

개인이 돌리는 범위 내에서도 맥으로 LLM은 성능이 많이 떨어지는 편이에요. 단순히 그런 구성을 만드는 '재미' 가 있을 뿐입니다. 

추론 이야기하셨는데 추론마저도 벤치마크 보면 가성비 떨어집니다. 단지 맥 스튜디오 한 대로 해결이 되니 소모전력이나 편의 측면에서 조금의 이점이 있는거죠. 

근데 3090 두대로 돌리는 거 가능한가요? 그거 합쳐봤자 VRAM 용량이 안 될 텐데... 저도 4090으로도 못 돌리는 건 진작 알고 있기도 했고 밑에 맨 밑 실 테스트 유저 선생님 댓글을 보니 갑자기 궁금하네요.

70b가 작은 모델이 아닙니다;

아예 지식이 없으신거같은데요. 

? 누가 70b가 작은 모델이라고 했나요? 밑에 댓글에 선생님이 그거보다 큰 모델은 못돌린다고 적으셨어요. 말씀하신 그 큰 모델 보다 작다는 거죠. 선생님이 말씀하신 거 토대로.

70b 정도 규모면 취미생활의 끄트머리쯤에 있어요. 그리고 3090 4개 묶어도 맥 스튜디오(512기가) 가격의 절반이란게 함정이고요. 

맥 스튜디오 말고도 사실 VRAM이 큰 게 이득이면 맥 미니 병렬로 처리해도 가성비 아닐까요? ㅎㅎ

맥미니는 깡성능도 구리고 램 대역폭도 128비트 버스에 120GB/s 수준이라 큰 메리트가 없습니다. 

부연하자면 브램 용량뿐만 아니라 대역폭도 중요하고 추론이건 학습이건 쿠다 라이브러리에서 얻은 이득이 어마어마하기 때문에 '가성비' 는 별론데 '편의성' 이 좋은겁니다. 사실 그마저도 병렬연결하면 사라지는거고요. 

어차피 램이 중요한 거니까요. 그리고 어차피 한 대로 돌리는 것도 아니구요. 괜히 분산이겠습니까. ㅎㅎ

아... 정말 슬슬 짜증이 나네요. 지식도 관심도 없는게 눈에 뻔히 보이는데 램이 중요하다는 말만 되뇌고 계시네요. 제가 말씀드렸지 않나요? 그 램의 대역폭이 중요하고 gpu의 라이브러리도 중요하다고요. 그냥 우기기만 하실 것 같으니 관둡시다. 

그렇긴 한데 그래서 405B 컨슈머 레벨에서 돌아가나요?

밑에 대댓글 달린 거 보니 큰 모델에 비해 작은 모델 말씀하시는 거군요...;

어제도 댓글로 적었지만 개인이 구할 수 있는 부분에서 가성비라고 적었습니다. ㅎㅎㅠ

가성비라는 단어의 정의는 가격 대비 성능을 의미하는데

가격은 1/2~1/3인데 반해 성능은 1/10 수준이라 가성비라는 단어를 쓰기는 좀 애매한듯 하고

다만 내가 필요한 성능은 5~10 정도만 있어도 충분하다보니

성능이 100인 장비를 비싸게 주고 사는것보다는 성능 10짜리를 그거 반값에 주고 사는 샘인거라

접근성이라는 단어를 쓰는게 좋을거 같습니다.

맨 밑 선생님 댓글 참고하세요. ㅎㅎ

성능이야 둘째치고 일단 램 용량이 깡패입니다. ㄷㄷ 사실 맥 미니만 봐도 램 64GB도 가능해서 이게 곧 VRAM이니 4090도 못돌아가는 게 이건 된다라는 식으로 얘기하더군요.

제 말이 이거입니다. 사실 학습은 아직도 쿠다가 맞긴 한데 추론에서는 얘기가 다르죠. ㅋㅋ 물론 어제 위에도 적었지만 개인이 구할 수 있는 범위 내입니다.

어제 단 윗 댓글 참고하세요. ㅎㅎ

학습이야 당연히 쿠다가 더 빠른데 추론은 결국 메모리 큰게 더 영향이 커서 그런 게 아닐까 싶네요.

당연히 개인이 돌리는 범위 내죠. ㅎㅎ;; 어제 댓글에서도 적어놨습니다.

왜냐면 M3 울트라 512기가 기준으로도 3090 2대 묶은거보다 토큰 생성속도가 떨어지거든요. 가격 차이는 뭐 말 안해도 아실거고요. 

3090 2개 묶어도 VRAM 용량 문제로 제대로 LLM 구동이 안되지 않나요? 그걸로도 된다고 하면 4090으로 LLM 돌려보고 싶어서 몸 비틀었던 사람으로서 어떻게 하는건지 몹시 궁금합니다.

딥시크 70b 정도 모델은 2장 쓰면 충분히 돌립니다. 24*2인데 왜 못돌리나요... 

물론 훨씬 큰 모델은 못하긴 하는데 이거는 취미의 영역을 이미 벗어난 것 같고요. 

말씀대로 3090 2개 묶는게 토큰 생성 속도로는 가성비이긴 한데, 제 경험으로는...
1. 다수의 GPU 을 사용하기 위해서는 모델을 쪼개고 (model, data parallel) torch.distributed, NCCL 와 같은 GPU 간 통신 라이브러리를 추가로 활용해야 함
2. 일반적인 마더보드에서는 PCI-E 레인개수 문제로 한쪽 GPU가 절름발이가 되기 쉬움
3. 폭증하는 전력 소모량 (3080 에서 인퍼런스 시 350W 가량 소모)
에 따라서 고려할 사항들이 자꾸 붙기 시작합니다. 나는 그런거 모르겠고 그냥 LLM 추론기능만 가지고 코딩, 챗봇 기능 등등만 사용할거다! 하면 그냥 뇌 비우고 하드웨어 하나 사면 모든게 끝나는 맥이 편한 면이 있긴 합니다.

편의성 면에서는 그렇죠. 그런데 경험적으로 취미생활을 완성품으로 시작하면 너무나 빠르게 흥미가 식더라고요. 

ㅎㅎ 그런 그렇죠. 그러니 저처럼 맥북 프로 + 원격 우분투 RTX 머신 조합으로 둘다 잡으시면 됩니다?!

근데 주변에 맥 미니 5대 썬볼로 연결해서 분산해서 추론하는 분도 계시긴 하던데 이건 또 어떠려나요? ㄷㄷ

썬볼 인터페이스 병목으로 성능 처참합니다. 돌아간다에 의의를 두는 수준이죠.

썬볼 4/5 정도면 CPU에 직결이라 병목은 잘 모르겠네요. 어차피 병목은 랩탑에서 유독 심했었고 5 기준 64Gbps 정도에 맥 미니로만으로 405B 확장도 되면 얘기가 다르지 않나요...?

대역폭 말고 레이턴시요. TP를 정말 잘 설계하지 않는 이상 NVLink급도 병목은 생깁니다.

레이턴시도 그렇고 대역폭 모두 구분해서 적은 것 맞습니다. 썬볼 레이턴시가 1/2 까지는 CPU 직결이 아니었는데 3/4 부터 직결로 들어가서 레이턴시 많이 해소됐을 거에요.

https://youtu.be/GBR6pHZ68Ho

직접 보고 확인하시면 되겠습니다. 병렬화로 생기는 병목은 썬볼 "따위"로는 해결이 매우 힘듭니다.

이거 애저녁에 봤습니다. ㅎㅎ 병목이 없다고는 말 못하는데 저것도 1/2 시절에 비해 많이 해소된거에요. ㅎㅎ;;

이게 맞아요. ㅎㅎ 아까부터 이 얘기 중이었는데 못 받아들이시는 분들이 꽤... ㅠ 맥 미니 5대로 405B 돌리는 건 말이 이미 안되죠.

이 용도로도 이미 충분히 가성비 좋은 대체품이 나왔습니다.

AI MAX+ 395에다가 128GB달린 보드가 $1699인데 여기에 나머지 부품 대충 끼워서 조립하면 됩니다.

(귀찮으신분들을 위한 완제품도 있습니다. 1TB에 윈도우 넣으니 대충 $2316 나오네요)

https://frame.work/products/framework-desktop-mainboard-amd-ryzen-ai-max-300-series

성능도 제법 잘 나오는듯 하구요.

맥 스튜디오 젤 싼거 $1999에 램 36GB인데

128GB를 넣는 순간 $3499까지 오르다보니 가성비와는 점점 멀어지는군요.

아 프레임워크가 최근에 CES에서 보인 제품이네요

챗봇 서버가 하나 마렵긴 한데 오...

근데 저게 내장 그래픽이긴 한데 통합 메모리는 또 아니더라구요. ㅎㅎ; 용량이 크긴 크지만 그 이상 옵션은 또 없네요.

통합메모리 맞습니다. 대체 누가 아니라고 하던가요?

통합 메모리 맞나요? 눈을 씻고 찾아봐도 Dedicated VRAM이라고만 보이는데요? 저건 내장 메모리에서 VRAM 할당해서 주는 방식입니다. 맥 통합 메모리하고 다른 물건이에요. 저게 통합 메모리면 여태까지 나온 내장 그래픽 노트북들은 전부 다 통합 메모리에요?

ㅎㅎ...

내장메모리에서 vram 선할당도 가능하고 그냥 자동으로 할당되게도 가능합니다. 실제로 바이오스 들어가면 해당 옵션은 UMA Frame Buffer Size 라고 되어있는데요, UMA는 Unified Memory Access의 준말이랍니다. 

그건 Unified가 아니라 Uniform이에요. 그리고 그걸 통합 메모리로 안 부릅니다. 엔당/애플 Unified Memory 다시 보고 오세요.

https://www.amd.com/en/resources/support-articles/faqs/PA-280.html
정말 아무런 근거 없이 우기기만 하는거 쉽지 않네요. AMD 기술문서에서 이미 unified라고 명시하고 있고요, 애플의 통합 메모리는 엔비디아 기술문서의 통합 메모리랑 다른 걸로 알고 있는데 혹시 같다는 근거가 무엇인가요?

https://en.m.wikipedia.org/wiki/Uniform_memory_access

원래 명칭은 Uniform이 맞고, 그리고 엔당/애플 Unified Memory가 같다는 게 아니라 검색하면 다이어그램 뜹니다. 먼저 말씀해주신 방식은 영역을 나눠서 시스템 램+VRAM 이렇게 가는 구조면 Unified Memory는 이런 구조입니다.

아... 이러실 줄 알았습니다. 

안타깝게도 애플은 자기네가 UMA라고 이야기하고 있어요. 엔비디아의 유니파이드 메모리는 아예 다른 문젭니다 ^_^

이 사진 올라올 줄 알았습니다. 쟤네 영상은 저렇게 나갔는데 엔비디아 메모리 하고 거의 흡사합니다. 통합 메모리 맞아요.

아 그리고 제가 액세스라고 오표기해서 뭔가 착각하신듯 한데 아키텍처입니다. 

그리고 UMA에 쓰인 단어가 Unified이긴 한데 엔당하고 애플이 얘기하는 Unified Memory하고는 다른 개념입니다.

그리고 AMD 링크 확인해보니 이건 Access가 아니라 아키텍쳐네요.

1.3. 공유 메모리 아키텍처 (Unified Memory Architecture)[편집]

Unified Memory Architecture의 약자로, 균등 메모리 접근(Uniform Memory Access)과 같은 머릿 글자이지만 메모리 관련 용어라는 공통점 말고는 의미가 전혀 다르다. 서로 다른 복수의 멀티프로세서 혹은 멀티코어 프로세서들이 하나의 메모리에 접근할 수 있는 구조로 이렇게만 설명하면 잘 와닿지 않지만, 이미 널리 채택되었던 메인보드에 탑재된 온보드 그래픽이나 CPU 내장 그래픽의 메인(시스템) 메모리 공유 기능을 떠오르면 쉽게 이해할 수 있다.

이 부분 확인하세요. 

네, 그게 그거예요. Uniform Memory Access는 병렬컴퓨팅에서 사용하는 용어거든요. 전혀 상관이 없습니다 ㅎㅎ

근데 윗 댓글에도 적었지만 UMA하고 엔당하고 애플이 쓰는 UM은 개념 자체가 다릅니다. VRAM 영역이 떡하니 존재하는데 이게 어떻게 통합 메모리에요? 통합 메모리에서는 그런 구분 자체가 없어요.

아니 ㅋㅋ 그냥 관둘래요. 하...

ㅋㅋㅋㅋㅋㅋ 진짜 저도 할 말이 없네요. 마지막으로 답니다. 그 통합 메모리에서는 CPU가 GPU 데이터 바로 가져오는 것도 되지만 선생님이 말씀하시는 저건 그냥 Shared 메모리에요.

이걸 엔당하고 애플 처럼 통합 메모리라고 하실 거면 다른 글에서 하시길 바랍니다.

그리고 그 내장 그래픽 노트북들 전부 통합 메모리 맞는데요? 

다시 정리해서 알려드리면 Unified Memory Access가 아니라 Uniform Memory Access고, 일반적인 내장 그래픽에서 램 공유해서 VRAM 할당하는 방식은 통합 메모리 아닙니다.