미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1471
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	113746	13
핫글	미니	레이저 같은 알만한 기업도 이러는군요 [1]	룬룬	16:40	352	7
핫글	미니	정품 AR필름 정말 좋아요 [13]	쌍피ㄷㄷ	12:14	686	6
핫글	미니	소식: 퀄컴 "X시리즈 벤치는 전원 어댑터 연결 하에서 측정" [12]	Section31	12:48	866	6
212735	미니	카카오는 it기업이 아니라 공모쪼개기 한탕 세력이 본업입니다 [12]	Ap좋은놈	22.04.12	2699	45
212734	미니	GOS를 없앨 14,000,605가지중 단 하나의 방법.. [10]	올챙떡국	22.03.02	2975	45
212733	미니	[후기] M1에어 최후의 결단과 Garosugil의 대응 [30]	Taek	21.09.23	5018	45
212732	미니	통화녹음 중요성 한번 깨닫고나니 아이폰,픽셀 못쓰겠네요 [26]	솔베르	21.09.01	2485	45
212731	미니	저는 솔직히 지금 유튜버들 정신차려야 한다고 생각합니다 [26]	[GalaxyS21+]늙은이	21.08.13	2048	45
212730	미니	업계 사람들도 잘 모르는게 파운드리 굴러가는거예요 [35]	폴드투를쓰는겁니다	21.07.28	1422	45
212729	미니	IceUniverse 미코 정식회원 환영식 [7]	LG산흑우	21.07.01	1788	45
212728	미니	[자작] 노이즈캔슬링 코드리스 이어폰 30종 디자인 완전정리 [20]	Stellist	21.06.07	1221	45
212727	미니	삼전 되게 없어보임... [38]	RISCVCC	20.12.08	2018	45
212726	미니	사실 울트라 패치되서 마음 한켠으로는 조금 슬픕니다 [36]	보거	20.05.25	1551	45
212725	미니	삼성과 애플은 라이벌입니다 인정하세요 [8]	갠냑시	24.01.22	2077	44
212724	미니	S24 보고 왔는데 혁신도 없고 발전도 없네요. [27]	보거	24.01.19	2561	44
212723	미니	근데 S23 "FE" 같은걸 누가 사나요? [37]	하늘목장	23.12.13	1891	44
212722	미니	추석 선물로 아버지 폰 바꿔드렸습니다 [17]	아이폰13프로	22.09.09	1288	44
212721	미니	내일 드디어 효도하러 갑니다 [11]	[성공]함께크는성장	22.07.22	1384	44
212720	미니	아이폰 쓰다 보면 알게 되는 모순 [7]	Kanata	22.05.05	2838	44
212719	미니	폴드 플립은 유독 오지랖이 심한 제품 같습니다. [36]	만두는호빵이다.	21.08.21	1913	44
212718	미니	삼성 가격통수는 중소기업보다 못한 저질수준이네요 [8]	가시멜로관	21.04.10	1229	44
212717	미니	펑 [65]	클랩어게인	21.03.30	2882	44
212716	미니	스냅드래곤888이 발열이 심한 이유는 단 하나뿐입니다. [31]	나랏미	21.01.11	1813	44
212715	미니	애플공룡둘리 [29]	한국과맞지않은애플	20.11.26	3408	44
212714	미니	태블릿 화면 크기 비교 [21]	sands	20.08.11	6510	44
212713	미니	직접 만든 갤럭시 폴드 광고입니다 [40]	하이프라이즈	20.05.30	1300	44
212712	미니	애플이 정도껏 안해서 EU가 때려잡는 것 아닐까요 [9]	MrGom™	24.02.02	1448	43
212711	미니	케이스티파이 핵추하네요 ㅋㅋㅋ [18]	여가어딥미코	23.11.24	3260	43

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정