미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1473
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114105	13
핫글	미니	Galaxy S25 Ultra Leak [9]	iceuniverse	24.05.15	1262	15
핫글	미니	화웨이 Pura70 Ultra 주간 사진은 완벽에 가깝군요 [4]	S.R	24.05.15	374	12
핫글	미니	2015~2024 [3]	마키세크리스	24.05.15	365	10
208098	미니	삼성은 8인치 태블릿 출시 포기했나요? [4]	셈숭전자	19.02.16	458	0
208097	미니	GPD MicroPC (6인치 윈도 노트북) 펀딩 시작했네요. [2]	Stellist	19.02.16	319	1
208096	미니	삼성전자 갤럭시탭 A10.1 2019 사양 등장 [4]	BarryWhite	19.02.16	518	0
208095	미니	LG G8 루머 모음 [6]	BarryWhite	19.02.16	374	0
208094	미니	갤럭시는 메이저 업데이트를 권고사항보다 더 지원해줄 생각은 없는 걸까요 [35]	QPST	19.02.16	393	0
208093	미니	사전예약 관련해서 궁금점이 생겼습니다ㅎ [4]	Carpediem	19.02.16	174	0
208092	미니	OS 업데이트를 늘리고 뭐하고 하면 또 비싸다고 말 나올걸요? [14]	[성공]함께크는성장	19.02.16	201	0
208091	미니	사실 대부분의 사람들은 파이 니 오레오 니 거의 모릅니다 [7]	기기덕후	19.02.16	246	0
208090	미니	애플 스타트업 인수 소식	다잊어야해욥	19.02.16	269	0
208089	미니	애플의 디자인 디테일은 차라리 눈에 띄기라도 하지 [10]	[성공]함께크는성장	19.02.16	386	0
208088	미니	이번에 나올 s10 one ui가 [10]	셈숭전자	19.02.16	588	0
208087	미니	근데 아이폰 일부러 업데이트 안 하기도 하지 않았나요 [1]	귀주대첩	19.02.16	312	0
208086	미니	애플은 오래 쓰는 이미지가 박힐 수 밖에 없어요 [7]	[성공]함께크는성장	19.02.16	353	0
208085	미니	사실 업뎃이고 뭐고 떠나서 폴더블 제발 방수 좀... [17]	QPST	19.02.16	309	0
208084	미니	업데이트 얘기가 나와서 말인데 [10]	[성공]함께크는성장	19.02.16	253	0
208083	미니	애플꺼 별로 오래 안써지던데요... [8]	Stellist	19.02.16	364	0
208082	미니	윈도우10 20H1업데이트에서는 WSL데이터를 파일탐색기에서 볼수있어 [1]	스퀴니	19.02.16	283	1
208081	미니	인텔, 켄터키 프라이드 치킨 모델 준비중? [1]	BarryWhite	19.02.16	281	0
208080	미니	아니 삼성 양반 이게 무슨 말이요??? 이게 정말이요??? [12]	츄즈미플리즈	19.02.16	645	0
208079	미니	탭S5의 스펙은 과연?? [7]	Eidio	19.02.16	302	0
208078	미니	안드 제조사들이 판올림 2번하는 이유가 있죠. [2]	AGRS	19.02.16	331	0
208077	미니	빨리 갤럭시 S10 사고 싶어요 으아아아 [10]	Havokrush	19.02.16	378	0
208076	미니	어.. 뉴장난감 등극각.. [11]	오토카모	19.02.17	649	0
208075	미니	갤럭시M20 개봉기.vid [10]	기기덕후	19.02.17	677	0
208074	미니	이거 없애는법 없나요? [1]	kwqoskak	19.02.17	350	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정