미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1485
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	115019	13
핫글	미니	[란즈크]갤럭시Z폴드6 슬림 울트라, 삼성 DB에 추가 신규 등록 [3]	노다	01:16	836	6
핫글	미니	아침부터 개든든.jpg [4]	품귀문란	08:24	291	6
핫글	미니	일본 니코니코동화 접속 관련문제가 꽤나 심각하군요 [6]	Eako	24.06.14	505	5
209251	미니	삼성 갤러리 콜라주 기능 아주 좋습니다 하하 [3]	으르렁자몽이	21.06.09	980	14
209250	미니	삼성의 숨힘은 하드웨어긴 합니다 [29]	sjkoon	21.06.06	1600	14
209249	미니	주관적) 삼성 올해 최고 웃음벨 [9]	배붕이	21.06.05	1457	14
209248	미니	6/24 Windows 이벤트에서 공개 예상 제품 [13]	시엠	21.06.03	2141	14
209247	미니	탭S7+ VS 프로 5세대 12.9 디스플레이 요약사진 [29]	Aix843	21.05.30	1374	14
209246	미니	사용자가 Off 시킬수만 있다면 어떤 기능이던 환영입니다. [13]	Stellist	21.05.29	786	14
209245	미니	학부때 유용했던 노트북 [10]	Stellist	21.05.28	712	14
209244	미니	Gos 테스트(긴글주의) [17]	나랏미	21.05.26	5181	14
209243	미니	맛갤애들이 억까하는거랑 별개로 [10]	Thomasp5675	21.05.24	826	14
209242	미니	m1 맥북에어 1달 사용 초간단 리뷰 [5]	시엠	21.05.23	1946	14
209241	미니	10시간 가량 사용한 아패프로 사용기 [17]	루리루리	21.05.21	1246	14
209240	미니	사실 기업입장에서 번인은 좋은 요소일겁니다 [17]	한겹	21.05.21	1168	14
209239	미니	미코 분들은 oled 기기 마음껏 사도 되는 이유 [12]	크나앙	21.05.21	861	14
209238	미니	빌드 퀄리티 따질거면 애플 쓰십쇼 [20]	사이렌오더	21.05.21	1402	14
209237	미니	갤럭시는 여전히 갤럭시죠 [12]	Thomasp5675	21.05.13	1044	14
209236	미니	요즘 삼성은 품질 마케팅 최악을 향해 달려가는군요 [14]	가시멜로관	21.05.13	1165	14
209235	미니	요즘 삼성 보면 느끼는 점 [18]	JoyJoy	21.05.11	1327	14
209234	미니	[스압주의] S21 U로 2년만에 바꾼블로그 타이틀 + 과거타이틀 [17]	대출받아서기변함	21.05.06	649	14
209233	미니	이번 유출 사태에 새삼 놀란 것 [7]	Terrapin	21.05.03	1514	14
209232	미니	홈쇼핑 탭 s7 lte 사은품 당첨됬습니다 [9]	미세먼지주의보	21.05.03	587	14
209231	미니	차기 폴드 최상위 모델 [21]	오토카모	21.05.02	1248	14
209230	미니	어른들이 쉽게 건들지 못 하는 안드 폰 만들기 [15]	MrGom™	21.04.30	1194	14
209229	미니	가장 직관적이고 적나라한 퍼플색 비교 [17]	빅코	21.04.28	772	14
209228	미니	구글이 생각하는 높은 화질 [3]	Thomasp5675	21.04.28	613	14
209227	미니	S21 발열 심하긴 심하나보군요. [9]	베인글로리장인	21.04.28	567	14

👩🏼‍💻미코🌞

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정