미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1473
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114105	13
핫글	미니	미국 삼성, 애플 Crush! 광고를 패러디한 Uncrush 광고 제작 [7]	AquStar	07:04	1008	21
핫글	미니	S24U 광각 : 날씨가 너무 좋네요 [11]	흡혈귀왕	09:37	469	9
핫글	미니	갤럭시 버즈3 프로 출시 준비 완료? [10]	BarryWhite	14:24	543	8
208135	미니	삼디 후기(잘 안올라온 색상위주) [11]	프레이	19.02.21	515	0
208134	미니	갤10 행복회로와 실제 [10]	시릴라	19.02.21	538	0
208133	미니	함 다녀와봤는데요..	아삭	19.02.21	295	0
208132	미니	갤10 LED 케이스 [1]	개🐶	19.02.21	334	0
208131	미니	이번 갤10 발표 간단후기	그럴리가	19.02.21	242	0
208130	미니	S10 LED케이스 LED조절같은건 못하려나요	존버합니다	19.02.21	144	0
208129	미니	삼디 후기2(마블케이스+카메라) [6]	프레이	19.02.21	423	0
208128	미니	S10은 카메라가 제일 궁금해요 [2]	팝카드있으세요	19.02.21	237	0
208127	미니	S10+은 그린 색상이 없네요 [7]	Angry	19.02.21	273	0
208126	미니	S10 보상판매 말인데요	Angry	19.02.21	175	0
208125	미니	삼성 새로나온 무선충전 보조배터리 무선출력얼마인가요? [3]	flair	19.02.21	195	0
208124	미니	폴드살 생각에 흥분되요 [7]	qazsdf	19.02.21	241	0
208123	미니	갤럭시 버드 윙팁 끼운 사진 [3]	Stellist	19.02.21	887	0
208122	미니	갤럭시 폴드 진짜 별로지않나요? [14]	텐에스맥스씁니다	19.02.21	444	0
208121	미니	이와중에 화웨이 삼성저격 .gif [16]	신규유저	19.02.21	588	0
208120	미니	삼성 디플 대구 상서점이쁘네요 갤10	AriMoon	19.02.21	317	0
208119	미니	다들 폴드 사자구욧 [3]	숲속의참치	19.02.21	207	0
208118	미니	s10 배터리 말인데요. [3]	CLovers	19.02.21	240	0
208117	미니	이제 dex는 접었나요? [5]	kwqoskak	19.02.21	321	0
208116	미니	롯데백화점 분당점 S10 보러갔는데 [2]	제한회원	19.02.21	439	0
208115	미니	SKB-티브로드 합병 확정 [1]	BarryWhite	19.02.21	223	0
208114	미니	와 세라믹 갤10 봤는데.. [2]	qazsdf	19.02.21	452	0
208113	미니	짧은 소감... [5]	필군	19.02.21	326	0
208112	미니	s10+ 파워풀 쿨링 시스템 [2]	N935S	19.02.21	597	0
208111	미니	He is Black Cow [16]	Helix	19.02.21	456	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정