로그인 해주세요.

미니기기 / 음향 게시판 *스마트폰과 PC, 카메라, 스피커 등 IT 미니기기와 음향기기에 관해 교류하는 게시판입니다.

새벽하늘

미니 생성형 AI 구동에 램이 많이 필요한가요?

이쪽엔 영 지식이 없어서 모르겠는데 아래에 몇분이 써주신 아이폰 17프로라인에 12기가램이 들어간다는 루머를 보고 궁금해졌습니다.

당장 8기가로 올라온지 1년도 안된시점에 그런 루머가 나오는거봐서는 애플도 슬슬 자체 AI플랫폼 시동을 거나 보네요.

 

삼성 가우스 관련 글에서도 몇번 봤지만 저는 NPU 성능만 빵빵하면 장땡인 줄 알았는데

12기가도 부족하다! 지적하는 글이 적지 않게 보여 램용량과의 상관관계가 큰가 해서 여쭤봅니다.

새벽하늘
- Apple iPhone 15 PM White Titanium
- Apple Watch Series 7 Graphite 45mm
- Apple Airpods Pro 2
- Shure SE846 + Rmce-tw2

- MSI B660M MORTAR WIFI DDR4
- Intel Core I5-13600KF
- Teamgroup T-Force Delta DDR4 3600MHz 8×4GB
- MSI Geforce RTX 3080 SUPRIM X 10GB
- SK Hynix Gold P31 1TB x2 + Micron Crucial MX500 500GB
- Enermax REVOLUTION D.F. ERF850EWT
- LG 27GP850
- CORSAIR K70 TKL RGB
- RAZER Viper V2 pro
댓글
14
Alternative
1등 Alternative
2024.06.10. 17:32

쉽게 체험해볼 수 있어요.

Ollama나 One file LLM 같은 거 애플 실리콘에서 돌려보려고 하면 램 순식간에 몇십 기가씩 녹습니다.

APU들은 그래픽 메모리가 따로 없고 시스템 메모리를 공유해서 쓰니 램 용량이 중요하죠.

물론 각 기기와 용도에 맞게 최적화되어서 나오겠지만 그래도 지금의 일반적인 정도로는 부족한 게 맞습니다.

[Alternative]님의 댓글을 신고합니다. 취소 신고
AlieNaTiZ
AlieNaTiZ Alternative 님께
2024.06.10. 17:36

쉽게 말해 모바일 기기에서의 최적화는 원래 타겟 성능으로 만든 모델의 용량을 줄이는 일이죠. 파라미터를 줄이고, 레이어 개수를 줄이는 일반적으로 알려진 방법으로 많이 줄입니다. 그렇다 보니 모바일 기기에 들어가는 모델은 원래 타겟 모델 대비 성능이 떨어지고, 할 수 있는 기능이 줄어드는것은 어쩔 수 없죠.

 

AI 연구하시는 분들이 튜닝할 때 쓰는 방법도 삼성이나 기업에서 많이 한다고 들었습니다. 내부에서는 타겟 모델도 모바일 기기의 성능 한계로 넣지 못하는 고가치 모델도 많다고 하네요.

[AlieNaTiZ]님의 댓글을 신고합니다. 취소 신고
새벽하늘
글쓴이
새벽하늘 Alternative 님께
2024.06.10. 17:55

생각해보니 워크스테이션은 전용 메모리가 따로 있고 모바일은 통합 메모리인걸 생각 못했네요. 통합 메모리가 더 큰 용량이 요구되는건 당연한 수순이었군요

[새벽하늘]님의 댓글을 신고합니다. 취소 신고
씨샾
2등 씨샾
2024.06.10. 17:33

저는 생성형 ai자체가 그냥 마케팅일거란 생각을 합니다

생산성 낮은 폼팩터로 ai해봤자 얼마나 쓸까요?

램은 그냥 구실이죠

[씨샾]님의 댓글을 신고합니다. 취소 신고
사골센서
best 사골센서 씨샾 님께
2024.06.10. 17:39

저 S24 AI 기능 중에 온디바이스로 돌아가는 음성인식, 번역만 해도 매일 써요.. 지금은 대부분 클라우드에 의존 중이지만 엣지에서 할 수 있는 일이 늘어나는 건 좋은 일이죠

[사골센서]님의 댓글을 신고합니다. 취소 신고
씨샾
씨샾 사골센서 님께
2024.06.10. 17:43

2개다 ai 없어도 되는거 아닌가요?

그전부터 됐던거같은데요?

[씨샾]님의 댓글을 신고합니다. 취소 신고
사골센서
best 사골센서 씨샾 님께
2024.06.10. 17:50

네 물론 되긴 했었죠. 성능이 영 안 좋거나 무조건 클라우드를 거치는 방식이거나 둘 중 하나였지만요. 그런 것들도 대대적으로 홍보된 적만 없을 뿐이지 다 AI 기반이에요 

[사골센서]님의 댓글을 신고합니다. 취소 신고
딸기맛치킨
3등 딸기맛치킨
2024.06.10. 17:35

AI이미지 제너레이터들 최소 사양이 GPU메모리 6기가 입니다.
스마트폰은 공유로 사용하니까OS가 차지하는 부분까지 감안하면 8기가도 부족하겠죠?

[딸기맛치킨]님의 댓글을 신고합니다. 취소 신고
새벽하늘
글쓴이
새벽하늘 딸기맛치킨 님께
2024.06.10. 17:56

요즘 글카에서 별거 아닌 용량이지만.. 모바일로 오면 얘기가 많이 달라지네요 ㄷㄷ

[새벽하늘]님의 댓글을 신고합니다. 취소 신고
퍼핑
퍼핑
2024.06.10. 17:36

갤럭시 네이놈 16기가 기본으로넣어라!!

[퍼핑]님의 댓글을 신고합니다. 취소 신고
ㅇㅁㅇ
ㅇㅁㅇ
2024.06.10. 17:43

다다익램인 것은 맞긴 맞고,  안드로이드나 윈도우 같은 것들은 백그라운드 정책상 램이 많은게 좋긴 좋은데.. ap 크기도 그렇고 갈수록 가격 인상될 요인들만 널린 것 같네요...

[ㅇㅁㅇ]님의 댓글을 신고합니다. 취소 신고
사골센서
best 사골센서
2024.06.10. 17:45

쓸만한 성능이 나오는 생성형은 모델 크기 자체가 기본으로 몇 GB씩 나가는데, 대충 2GB라고 치고 텍스트를 예로 들면 단어 하나(정확히는 토큰) 생성할 때마다 이 2GB를 다 읽어야 돼요. 플래시 메모리에서 바로 읽어오면 생성 속도가 너무 느려서 못 쓸 정도가 되니 전부 램에 올려서 쓰는 게 최선이죠

[사골센서]님의 댓글을 신고합니다. 취소 신고
에드기인
에드기인
2024.06.10. 19:46

현행 8기가 달아주는 S24가 램이 부족해서 AI가 안되네 어쩌네 이런 얘기가 안나오는거보면 딱히 그렇게 중요한가 싶기도해요

[에드기인]님의 댓글을 신고합니다. 취소 신고
LaPL
LaPL
2024.06.10. 19:56

딥러닝 모델의 추론과정은 간단하게는 입력에 연속적인 행렬곱 연산이 주류인데, (((입력 @ A) @ B ) @ C) @ D = 결과물 입니다. (@는 행렬곱 연산)

 

이 때 필요한 메모리 공간은 모델의 가중치(A,B,C,D)를 저장할 공간 (수 billion x 2 (또는 1) byte)와 입력@A 를 계산 후 그 계산결과를 다음 계산을 위해서 중간에 저장할 공간인 activation 메모리(입력의 크기에 따라 달라짐, 모든 행렬곱 연산이 같은 크기의 결과를 계산해서 하나의 출력 버퍼를 재사용 가능하다 했을 경우)가 필요합니다. 

 

GPU나 NPU는 저 @ 행렬곱 연산을 빨리 해 줄 수는 있지만, 태생적으로 가중치와 중간 결과값을 저장할 메모리가 필요합니다. ML SYS (딥러닝 모델을 잘 돌려주는 S/W) 연구도 태반이 얼마나 저 메모리를 잘 쓸 것인가 일 정도로 중요한 주제이죠. 

[LaPL]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 공지 사이트 이용 수칙 230228 수정 file admin 18.08.04 116333 13
핫글 미니 엑시노스 응원하는 분들은 딱 이런 마인드죠 뭐 [19] Stellist 24.06.22 1205 25
핫글 미니 솔직히 저도 엑시에서 뭔가 큰 기대를 하는 단계는.. [35] 흡혈귀왕 24.06.22 1234 17
핫글 미니 아이폰 교통카드 임박?? [14] 에피 24.06.22 1066 13
214734 음향 소올직히 버즈3 프로 디자인 준수한 것 같아요 [8] file 쌍피ㄷㄷ 24.06.10 923 7
214733 미니 갤럭시 버즈 3 디자인 바뀐다고 하니까 내년엔.. [2] 크로아츠 24.06.10 570 3
214732 미니 모뎀 관련해서 7420 시절처럼 퀄컴과 쇼부가 안되는걸까요 아니면 그냥 마진조아인가요? [9] U.K.O.P 24.06.10 610 2
214731 미니 oneui 순정 아이콘 색깔놀이 해봤습니다 [4] file 모코코 24.06.10 508 2
214730 음향 결과적으로 버즈라이브는 나름 의미있는 이어폰으로 남겠군요. [3] 아재건달_보노뭘보노 24.06.10 555 0
214729 음향 갤럭시 버즈3 시리즈 많이 기대됩니다.. [5] AlieNaTiZ 24.06.10 548 2
214728 미니 회사앞 길냥이~(0611추가 3x/10x) file pietoro 24.06.10 184 3
214727 미니 알리 5만원 마우스 도착했습니다. [1] file zenocide 24.06.10 442 0
214726 미니 갤럭시 탭 A9 B2C 판매 시작 [2] file 운김 24.06.10 472 1
214725 미니 잡담: 구글 픽셀 워치3 예상 렌더링 (빙우주) [6] Section31 24.06.10 546 0
214724 미니 엑박은 하드웨어 팔 생각이 없는 건지 [7] BarryWhite 24.06.10 483 2
214723 미니 갤럭시 탭 S7+ 펌웨어 업데이트 file 운김 24.06.10 361 8
214722 미니 S24 시리즈 GPS 문제는 이대로 끝인가보네요 [16] file 여가어딥미코 24.06.10 1474 9
214721 미니 오픈형 이어폰 살려주세요 [3] 윤이 24.06.10 365 1
214720 미니 지금의 S펜은 폴드에겐 오히려 독인 듯 합니다. [31] file Daylight 24.06.10 1444 17
214719 미니 버즈3프로가 콩나물 형태인거 매우 좋네요 [6] GalaxyBudsSeries 24.06.10 858 5
214718 음향 (농담) 버즈3 프로 렌더링을 본 뒤의 생각 [4] file MrGom™ 24.06.10 1214 8
214717 미니 어도비도 사용자의 창작물을 들여다 보겠다고 하네요 [5] 룬룬 24.06.10 458 3
214716 미니 [란즈크] 갤럭시Z폴드6 슬림 2가지 모델 존재 가능성 [14] 노다 24.06.10 1361 5
214715 미니 갤럭시 버즈3 프로 콩나물로 내놓고 욕 안먹는법 [8] file Stellist 24.06.10 1032 3
214714 미니 아래 버즈3프로 유출은 원플러스 버즈랑 너무 닮았네요 ;; [4] file Stellist 24.06.10 985 3
214713 미니 개인적으로 갤럭시 HW플랫폼에 대해 참 아쉬운점이 [11] qp 24.06.10 752 8
214712 미니 갤럭시 A12, A21s 펌웨어 업데이트 file 운김 24.06.10 101 0
214711 미니 버즈3 일반은 오픈형이라던데 [9] 애애앵 24.06.10 582 0
미니 생성형 AI 구동에 램이 많이 필요한가요? [14] 새벽하늘 24.06.10 649 0

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...