쉽게 체험해볼 수 있어요.

Ollama나 One file LLM 같은 거 애플 실리콘에서 돌려보려고 하면 램 순식간에 몇십 기가씩 녹습니다.

APU들은 그래픽 메모리가 따로 없고 시스템 메모리를 공유해서 쓰니 램 용량이 중요하죠.

물론 각 기기와 용도에 맞게 최적화되어서 나오겠지만 그래도 지금의 일반적인 정도로는 부족한 게 맞습니다.

저는 생성형 ai자체가 그냥 마케팅일거란 생각을 합니다

생산성 낮은 폼팩터로 ai해봤자 얼마나 쓸까요?

램은 그냥 구실이죠

AI이미지 제너레이터들 최소 사양이 GPU메모리 6기가 입니다.
스마트폰은 공유로 사용하니까OS가 차지하는 부분까지 감안하면 8기가도 부족하겠죠?

갤럭시 네이놈 16기가 기본으로넣어라!!

다다익램인 것은 맞긴 맞고,  안드로이드나 윈도우 같은 것들은 백그라운드 정책상 램이 많은게 좋긴 좋은데.. ap 크기도 그렇고 갈수록 가격 인상될 요인들만 널린 것 같네요...

쓸만한 성능이 나오는 생성형은 모델 크기 자체가 기본으로 몇 GB씩 나가는데, 대충 2GB라고 치고 텍스트를 예로 들면 단어 하나(정확히는 토큰) 생성할 때마다 이 2GB를 다 읽어야 돼요. 플래시 메모리에서 바로 읽어오면 생성 속도가 너무 느려서 못 쓸 정도가 되니 전부 램에 올려서 쓰는 게 최선이죠

현행 8기가 달아주는 S24가 램이 부족해서 AI가 안되네 어쩌네 이런 얘기가 안나오는거보면 딱히 그렇게 중요한가 싶기도해요

딥러닝 모델의 추론과정은 간단하게는 입력에 연속적인 행렬곱 연산이 주류인데, (((입력 @ A) @ B ) @ C) @ D = 결과물 입니다. (@는 행렬곱 연산)

이 때 필요한 메모리 공간은 모델의 가중치(A,B,C,D)를 저장할 공간 (수 billion x 2 (또는 1) byte)와 입력@A 를 계산 후 그 계산결과를 다음 계산을 위해서 중간에 저장할 공간인 activation 메모리(입력의 크기에 따라 달라짐, 모든 행렬곱 연산이 같은 크기의 결과를 계산해서 하나의 출력 버퍼를 재사용 가능하다 했을 경우)가 필요합니다. 

GPU나 NPU는 저 @ 행렬곱 연산을 빨리 해 줄 수는 있지만, 태생적으로 가중치와 중간 결과값을 저장할 메모리가 필요합니다. ML SYS (딥러닝 모델을 잘 돌려주는 S/W) 연구도 태반이 얼마나 저 메모리를 잘 쓸 것인가 일 정도로 중요한 주제이죠.