미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1485
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114769	13
핫글	미니	오늘 애플 발표는 실망이 더 크네요. [22]	Stellist	09:42	1369	26
핫글	미니	iOS18 애플 최대의 난맥상 해결...jpg [6]	aleji	09:35	1255	17
핫글	미니	WWDC 상당히 재미없었네요(소감) [4]	212212	12:53	577	16
213193	미니	아이패드 프로는 이번주에 주문 받으려나요? [6]	sourire	24.05.23	394	0
213192	미니	잡담: 스냅드래곤 X 시리즈 탑재 랩톱 가격표 [15]	Section31	24.05.23	982	8
213191	미니	전자레인지 위에서 폰 충전해도 되나요? [8]	심플리	24.05.23	685	0
213190	미니	네모난꿈)엑시노스2400 이상하다. [12]	퍼핑	24.05.23	1996	10
213189	미니	Geekerwan 의 애플 M4 칩과 발열, 배터리 리뷰 [2]	AquStar	24.05.23	1291	11
213188	미니	삼성월렛 아이콘 언제쯤 바뀌려나요 [16]	고슴도치	24.05.23	692	0
213187	미니	S22+ 소프트웨어 업데이트 있습니다. (EXE3) [2]	미붕붕드링크	24.05.23	577	2
213186	미니	내후년 아이폰은 아마 12GB램을 넣지만 [8]	sourire	24.05.23	838	4
213185	미니	스냅 x 엘리트 싱글은 m2 수준이라는 느낌이 확연하네요 [1]	212212	24.05.23	872	2
213184	미니	소식: 퀄컴, 올해 처음으로 삼성 매출원 톱5 밖	Section31	24.05.23	650	1
213183	미니	MX Keys mini 보통 할인가 어느 정도인가요? [8]	Alternative	24.05.23	453	0
213182	미니	갤럭시 폴드6 케이스티파이발 렌더링.jpg [9]	슈갤럼	24.05.23	1062	0
213181	미니	사실 아이폰 17 프로 12GB 램은 당연한게 [8]	요트맨	24.05.23	1431	10
213180	미니	잡담: 퀄컴 공식 사이트에 따른 X엘리트 싱글코어 소비전력 [11]	Section31	24.05.23	725	2
213179	미니	이거 왜 이러는 걸까요 [2]	오레오가좋아	24.05.23	575	0
213178	미니	파나소닉, 소형 풀프레임 카메라 루믹스 S9 출시 [6]	BarryWhite	24.05.23	655	3
213177	미니	갤럭시 플립6 케이스 업체발 렌더링.jpg [6]	BarryWhite	24.05.23	1452	3
213176	미니	S24U 새로 나온 3DMark 스틸노마드 돌려봤읍니다 [2]	에우레카	24.05.23	737	0
213175	미니	갤럭시 플립6 최대 램 12GB? [1]	BarryWhite	24.05.23	456	1
213174	미니	휴메인 망했군요 [5]	212212	24.05.23	1233	3
213173	미니	이번에 보조배터리 하나 구매햇습니다 [1]	S7엣지	24.05.23	440	3
213172	미니	디씨펌)3d mark 스틸노마드테스트(네모난꿈) [3]	퍼핑	24.05.22	791	0
213171	미니	갤럭시 A83 인도 BIS 인증....? [5]	노다	24.05.22	643	3
213170	미니	스냅 엘리트 랩톱 핸즈온 할 수 있는 곳 있나요?	🤏tozoom	24.05.22	235	0
213169	미니	링케 퓨전 X 케이스 구매했습니당 ㅎㅎ [4]	RacingMiku	24.05.22	788	6

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정