미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1473
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114202	13
핫글	미니	직구 규제 오피셜: 정해진거 없음 [17]	SM-G986N	24.05.17	1053	12
핫글	미니	샀읍니다 [6]	강약중강약	24.05.17	557	10
핫글	미니	직구 제한 정리 [9]	룬룬	24.05.17	1148	10
213186	미니	1% 한텐 400의 가치가 있는거 같습니다. [4]	윤이	24.05.08	660	8
213185	미니	이번 M4 CPU 설계 주석 변경점?	좌지우건	24.05.08	407	1
213184	미니	아이패드 프로가 애매한 이유...mp4 [3]	Niflheimr	24.05.08	773	8
213183	미니	도대체 저 200만원짜리 초고성능 아이패드로 뭘 할 수 있는 걸까요 [23]	올라온다진짜	24.05.08	1387	5
213182	미니	그러고보니 이제 에어는 무슨 의미로 에어 인걸까여 [7]	존버합니다	24.05.08	619	1
213181	미니	아이폰 신규 프라이드 배경 이쁘긴 하네요 [3]	에피	24.05.08	659	7
213180	미니	삼성 파운드리, 퀄컴 3나노 물량 수주에 사활 [1]	위잉위잉	24.05.08	814	0
213179	미니	에어6 크게 달라진 점이? [4]	Alternative	24.05.08	585	0
213178	미니	갤탭S10울트라에 AR코팅 들어갈까요? [3]	prodigy	24.05.08	599	1
213177	미니	픽셀 8a가 발표됐습니다.	BarryWhite	24.05.08	340	4
213176	미니	소니, 엑스페리아 1 VI 발표일 공식 공개	BarryWhite	24.05.08	206	2
213175	미니	외눈박이 세상의 두눈박이가 된거같군요	야옹이에요	24.05.08	615	4
213174	미니	제일기대한 키보드랑 맥세이프중 후자가 없네요	flair	24.05.08	168	0
213173	미니	iOS 17.5 RC 업데이트 [1]	숨겨진오징어	24.05.08	505	3
213172	미니	태블릿은 태생부터 애매한 포지션입니다. [11]	딸기가빠졌잖아	24.05.08	1193	10
213171	미니	혁신적인 아이패드 프로의 하드웨어 [2]	Aimer	24.05.08	721	1
213170	미니	아패 프로 oled 납품업체가 lg인가요 삼성인가요?? [3]	peekaboob	24.05.08	754	0
213169	미니	M4 아이패드는 배터리타임 향상이 어떠려나요 [1]	김치피자탕수육이좋다	24.05.08	421	1
213168	미니	애플 항상 선 넘는다 생각은 했지만 [2]	HQteam	24.05.08	1209	8
213167	미니	아이패드 프로 최고 옵션 한 번 넣어봤습니다. [2]	연월마호	24.05.08	654	4
213166	미니	m1이 아니라 a12z로도 전 차고 넘치네요 [3]	크나앙	24.05.08	570	6
213165	미니	탭 s10 출시가 밀렸다고하네요 [9]	anfchd	24.05.08	1017	0
213164	미니	제가 저번달 아이패드프로 6세대 12.9를 샀습니다만 [1]	갤9플스	24.05.08	373	2
213163	미니	애플펜슬 프로 애플 답네여 ㅋㅋ [2]	잇흥	24.05.08	847	3
213162	미니	확실한건 이 가격에 아이패드 프로는 [15]	SM-G986N	24.05.08	1228	11

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정