미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1471
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	113746	13
핫글	미니	정품 AR필름 정말 좋아요 [13]	쌍피ㄷㄷ	12:14	661	6
핫글	미니	소식: 퀄컴 "X시리즈 벤치는 전원 어댑터 연결 하에서 측정" [12]	Section31	12:48	822	6
핫글	미니	레이저 같은 알만한 기업도 이러는군요 [1]	룬룬	16:40	284	5
77733	미니	아이패드 셀룰러를 사야할까요.. [25]	슥슥솩촥	20.09.14	536	0
77732	미니	폰으로 전자책 보시는 분들 계신가요? [14]	불끈소방관불기둥불끈	20.09.14	419	0
77731	미니	아이폰 se 다음 시리즈가 XR이나 11기반으로 나온다면... [5]	블릭더	20.09.14	383	0
77730	미니	서피스듀오 욕 오지게먹고있네요 [7]	Futuristics	20.09.14	762	0
77729	미니	결국 윙도 듀얼스크린하고 비슷한 용도가 될거 같네요. [3]	아기건달_보노보노	20.09.14	433	0
77728	미니	오늘 오후 11시 이후, 언론사 게시물 예상도 [26]	오토카모	20.09.14	1451	17
77727	미니	미니기기 생활에 현타가 왔습니다. [10]	MysticCat	20.09.14	606	6
77726	미니	사상 최악의 통수 시나리오 : 'Z fold 2'편 [32]	오토카모	20.09.14	982	2
77725	미니	LG 윙 고주사율 달릴려나요? [12]	Serian	20.09.14	742	0
77724	미니	원플러스 버즈 근황 [8]	Thomasp5675	20.09.14	771	1
77723	미니	폴드2 512gb 슬그머니 출시하겠죠~ [11]	inthemoodforlove	20.09.14	606	1
77722	미니	삼성전자 3분기 실적 추정치가 갑자기 폭증했네요.. [15]	Eidio	20.09.14	694	2
77721	미니	s20울트라 aod창에 지문인식 부분 없애는 방법 알려주세요 [2]	727272	20.09.14	390	0
77720	미니	노트20울트라 곰표케이스 구하기힘드네요	긴닉네임25388108	20.09.14	2291	0
77719	미니	GalaxyxBTS 삼성 갤럭시 노트20 시리즈 광고 [15]	맛폰은디지바이스	20.09.14	480	1
77718	미니	LG Wing 전용 UI 및 앱 구동 방식 유출 [14]	Thomasp5675	20.09.14	896	3
77717	미니	heic <-> jpg 컨버터용으로 추천할만한 앱이 있나요? [1]	마직수	20.09.14	284	0
77716	미니	뒤늦게 써보는 엑스페리아1 사용기입니다. [10]	루리루리	20.09.14	1148	7
77715	미니	왔슈 [4]	프로입털러	20.09.14	310	5
77714	미니	디프 발송? [15]	구원의고통	20.09.14	422	0
77713	미니	루머) 애플 아이패드 에어4 스펙 및 출시 가격 [19]	슈갤럼	20.09.14	955	0
77712	미니	애플 아이패드 에어4 스펙 및 출시 가격	프로입털러	20.09.14	317	0
77711	미니	오늘까지도 고민 중인 미래2.. [7]	Might	20.09.14	334	0
77710	미니	버즈라 스캔캡 서드파티는 어때요? [3]	아기건달_보노보노	20.09.14	361	0
77709	미니	폴리오 케이스라는거 엄청 비싸네요 [7]	여가어딥미코	20.09.14	539	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정