미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1473
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114105	13
핫글	미니	미국 삼성, 애플 Crush! 광고를 패러디한 Uncrush 광고 제작 [7]	AquStar	07:04	905	21
핫글	미니	화웨이 Pura70 Ultra 주간 사진은 완벽에 가깝군요 [4]	S.R	24.05.15	697	17
핫글	미니	2015~2024 [3]	마키세크리스	24.05.15	655	14
213470	미니	10월 2일 MS발표회 : 서피스 프로6, 서피스랩탑2	BarryWhite	18.09.30	67	0
213469	미니	LG V40 가격은 결국 100만원을 넘을 것 같네요	기기덕후	18.10.12	67	1
213468	미니	LG X400/X401 오레오 업그레이드	기기덕후	18.10.17	67	0
213467	미니	화웨이 Honor Magic 2 안투투 결과	기기덕후	18.10.29	67	0
213466	미니	삼성전자 컨콜, 3분기 휴대폰 8,100만대 태블릿 500만대 판매	BarryWhite	18.10.31	67	0
213465	미니	갤S10에는 화이트가 나왔으면 하네요	기기덕후	18.11.06	67	0
213464	미니	LG이노텍, 퀄컴LTE 칩 기반 차량용 C-V2X모듈 개발	BarryWhite	18.11.12	67	0
213463	미니	Moto G7 유출되었습니다	기기덕후	18.11.27	67	0
213462	미니	WSTS 내년 반도체 성장 전망치 하향…메모리는 '역성장'	BarryWhite	18.11.29	67	0
213461	미니	당분간 중국에서 퀄컴 vs 애플 진흙탕 싸움 하겠군여	기기덕후	18.12.11	67	0
213460	미니	애플, 개발자용 iOS 12.1.2 베타 버전 출시	BarryWhite	18.12.11	67	0
213459	미니	삼성전자 4분기 실적, 전분기 대비 23% 영업익 감소 전망	BarryWhite	18.12.14	67	0
213458	미니	XBOX 차세대 개발 킷 코드명 '아나콘다'?	BarryWhite	18.12.17	67	0
213457	미니	폭스콘·페가트론, 예년보다 일찍 공장 인력 줄여	BarryWhite	19.01.19	67	0
213456	미니	손이 부들부들	두식이	19.02.21	67	0
213455	미니	빅스비 맵핑 알림창 내리거나 올리게 할수 없나요?	로로	19.03.04	67	0
213454	미니	요금제랑 부가서비스 변경 문자는 왔는데 지금쓰는 유심 해지가 안되네요	KERSU	19.03.06	67	0
213453	미니	제 갤버드는 언제 뜰까요? [2]	솔리드	19.03.11	67	0
213452	미니	LG 듀얼스크린 솔찍히 악세서리로나오면 괜춘할거같은데	flair	19.03.20	67	0
213451	미니	지..질문있습니다! [4]	해물파전	19.04.04	67	0
213450	미니	뭐 가로회전 안되면	[성공]함께크는성장	19.04.15	67	0
213449	미니	이쯤이면 궁금한데	솔리드	19.04.18	67	0
213448	미니	윈도우 1809후 시네벤치 제대로 작동하시나요?	KHANCHEN	19.06.01	67	0
213447	미니	Hey, Koreans? 환경 생각하는?	LG알바	19.09.11	67	0
213446	미니	엣지 얘기나 하믄서 기대감 키워주네요 [2]	김뉴비	19.10.02	67	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정