미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1493
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117728	13
핫글	미니	'이재용이 뿔났다'…'애플스러워진' MX사업부 [16]	존버합니다	24.08.04	1497	24
핫글	미니	삼성 직원으로 보이는 사람 영상요 [7]	갠냑시	24.08.04	1737	9
핫글	미니	불법 스트리밍 앱이 애플을 속이고 앱스토어에서 1년 넘게 버틴 방법 [6]	AquStar	24.08.04	1026	8
213540	미니	스팀 os에 엣지깔아쓰니 한글잘되네요 [2]	김치피자탕수육이좋다	24.05.19	500	1
213539	미니	갤럭시북 엣지 14/16 가격 [7]	BarryWhite	24.05.18	963	4
213538	미니	차기 엑박 2026년인가 봐요. [4]	BarryWhite	24.05.18	475	0
213537	미니	Galaxy Book 4 Edge Pro [11]	늅늅	24.05.18	1134	2
213536	미니	아이폰 로드맵 질문 입니다.	소나기	24.05.18	200	0
213535	미니	AMD, Arm APU 개발중, 차세대 MS 서피스에 탑재?	달에서사탕만드는토끼	24.05.18	486	1
213534	음향	버즈 3 프로는 어떻게 나올까요? [12]	구보	24.05.18	897	2
213533	미니	갤탭10 근데 업글할게 지금 당장 없지 않나요? [14]	오레오가좋아	24.05.18	903	1
213532	미니	컬러스케일 강화유리 아이패드 용도 나오는 군요 [10]	룬룬	24.05.18	971	3
213531	미니	[단독] 정부, ‘KC 미인증 직구 전면 금지’ 안 한다 [18]	룬룬	24.05.18	1497	20
213530	미니	아.. 저는 컬러스케일 강화유리 중도포기 해야 겠습니다 [7]	′Ultra′	24.05.18	942	4
213529	미니	직구 금지가 아니라 [9]	적당히하자	24.05.18	650	3
213528	미니	버즈2 좋네요 ㅎㅎ	치즈볼	24.05.18	329	3
213527	미니	정부 “직구, 당장 금지 아냐”… 논란 일자 강경대응 [26]	룬룬	24.05.18	1147	17
213526	미니	MSI 클로 더 버지 리뷰 [3]	Stellist	24.05.18	724	12
213525	미니	ㅈ같은 갤럭시탭 파우치 [17]	🤏tozoom	24.05.18	1507	23
213524	미니	고대 유물 발견.jpg [4]	품귀문란	24.05.18	720	3
213523	미니	쿠팡 S24U 사전 예약품 정품이랑 차이 있나요? [10]	d3h1	24.05.18	696	0
213522	미니	루머: DCS, 스냅드래곤 8 Gen 4 웨이퍼 가격 상승해 [4]	Section31	24.05.18	787	2
213521	미니	프론트 개발자면 스냅드래곤 갤북 쓸만할거같아요 [6]	방황하는물고기	24.05.18	763	4
213520	음향	워크맨 A55를 구입했습니다 [2]	RASBI	24.05.18	511	2
213519	미니	갤럭시 워치4 2024 FCC 인증 [8]	BarryWhite	24.05.18	786	3
213518	미니	갤럭시북 4 엣지 슬라이드 유출 [12]	달에서사탕만드는토끼	24.05.18	1195	5
213517	미니	애플 또 쫌생이짓 [7]	BarryWhite	24.05.18	1593	20
213516	미니	옴디아발 애플 제품 로드맵(아이패드, 맥북) [2]	달에서사탕만드는토끼	24.05.18	599	2

👩🏼‍💻미코🌧️

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정