미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1485
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	115012	13
핫글	미니	갤럭시북4 엣지 질렀습니다.. [16]	Gottago	24.06.14	992	15
핫글	미니	스테이지엑스 제4이통 취소절차 들어간다네요 [11]	Chrop	24.06.14	1107	13
핫글	미니	갤탭에 9300+가 오히려 좋은이유 [19]	GalaxyBudsSeries	24.06.14	1542	11
152356	미니	카카오 미니 귀엽네요 😍 [6]	MrGom™	20.05.31	745	4
152355	미니	폴드 유저분들 질문드릴 게 있습니디 [10]	난민	20.05.31	455	1
152354	미니	슈퍼주니어 신동 집 스마트홈 구축했는데 장난아니네요 ㄷㄷ [3]	블랙리스트	20.05.31	1237	2
152353	미니	폴드 안쪽 베젤 가운데 스카치테이프 붙여보니 소리 안 나네요; [6]	난민	20.05.31	677	1
152352	미니	제가 폴드 쓰는방식.. [4]	F9F	20.05.31	872	2
152351	미니	갤럭시 버즈+ 이 색깔은 한국에 대체 언제 나올까요 [7]	Stellist	20.05.31	836	2
152350	미니	교통카드 문제 해결한것 같아요 [3]	프리즘스톤	20.05.31	570	1
152349	미니	GN1 센서는 [3]	액티브r	20.05.31	575	1
152348	미니	2020년에 4K 60p 촬영이 안되는 플래그십 스마트폰이 있다?! [20]	엑페붐은온다	20.05.31	867	2
152347	미니	S10에 루틴 쓰시는 분들 이런 증상 있으신가요? [4]	으하하핳	20.05.31	382	1
152346	미니	삼성이 그래도 삼성 헬스는 꾸준히 미네요 [12]	Terrapin	20.06.01	914	1
152345	미니	S20+ 폰 온도 40°C 넘으면 120hz 안되는거 맞나보네요. [6]	냥냥18세	20.06.01	1136	1
152344	미니	올해 상반기가 한달 남았네요 [1]	ONNURI	20.06.01	211	1
152343	미니	SE 오줌액정이 많네요 [17]	배붕이	20.06.01	922	1
152342	미니	소니는 PS5 독점 게임을 PS4에서 할 수 있게 해줄생각이 없어요^^ [4]	범죄자호날두	20.06.01	722	1
152341	미니	최고의 폰카를 원하십니까? [6]	엑페붐은온다	20.06.01	615	2
152340	미니	LG 저가형 후면 글래스네요?? [14]	Idle6	20.06.01	927	1
152339	미니	삼, 엘 자급제 보험상품은 왜 없는걸까요.. [9]	아이미쿠	20.06.01	565	1
152338	미니	mRDNA 유출된 정보가 더 있나요? [4]	청정수	20.06.01	653	1
152337	미니	갤럭시 S20 울트라로 찍은 갤럭시입니다 [53]	괴짜	20.06.01	1330	28
152336	미니	커스텀 워치페이스 당분간 포기해야겠네요 [3]	[성공]함께크는성장	20.06.01	496	1
152335	미니	울트라 업데이트 있네요? [5]	으냥	20.06.01	530	1
152334	미니	울트라 업데이트했는데... [3]	흡혈귀왕	20.06.01	528	1
152333	미니	뜬금 없지만 엑시노스 880 나올떄 이미지에 .. [9]	Exynos8895	20.06.01	503	2
152332	미니	애플스토어에서 털린 아이폰 [17]	팝카드있으세요	20.06.01	1265	2

👩🏼‍💻미코🌞

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정