미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1484
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114570	13
핫글	미니	[잡담] PC 들일 때 맥이냐 윈도우냐를 고민하시는 분들께 [25]	불심	15:32	842	10
핫글	미니	ios18 제어센터라는데 [18]	오레오가좋아	09:29	1345	9
핫글	미니	갤럭시 문자 알림 아이콘 바뀌었네요. [3]	바닐라라떼	10:03	808	4
207417	미니	컬러스케일 보호필름 (비교사진o) [4]	밋맹몽	24.01.27	1559	22
207416	미니	S24U와 S24+ 3배줌 샘플 [31]	흡혈귀왕	24.01.27	959	7
207415	미니	갤럭시 티타늄 왜쓰나 의문이었는데 [1]	미하엘무야허	24.01.27	1159	10
207414	미니	루머: 샤오미 패드7 사양 관련 [5]	Section31	24.01.27	468	1
207413	미니	s24+ 받고 기존 s23+ 민팃하려했는데,, [1]	wooing	24.01.27	482	0
207412	미니	갤럭시 S24 울트라 동영상 녹화 음질 좋네요 [2]	쿠키스무디	24.01.27	706	3
207411	미니	S24 버튼 유격은 종특인가요? [3]	StirFry	24.01.27	745	2
207410	미니	S24U 긱벤치 돌려봤습니다. [3]	후루꾸루	24.01.27	682	6
207409	미니	갤럭시S24플 하루 간단 후기 [2]	갠냑시	24.01.27	1234	11
207408	미니	S24플러스를 수령해왔습니다 그런데 맥세이프가ㅋㅋ [2]	NeoSeven	24.01.27	625	1
207407	미니	어머니 울트라 케이스+필름 질문입니다 [1]	PaulBasset	24.01.27	160	1
207406	미니	컬러스케일 강화유리 코팅 내구성? [2]	오옹	24.01.27	971	2
207405	미니	[Marques Brownlee] 갤럭시 S24U 리뷰 [8]	우주안녕	24.01.27	1054	12
207404	미니	퀵쉐어 아이콘 바뀌었네요ㅋㅋ [3]	비둘기야먹자	24.01.27	802	10
207403	미니	S22U에서 24U왔는데 매우 만족스럽네여 [2]	늘늘늘	24.01.27	499	6
207402	미니	갤스24플로 게임 해본 결과 [1]	갠냑시	24.01.27	601	0
207401	미니	컬러스케일 부착완료 [13]	자린고네	24.01.27	1386	15
207400	미니	컬러스케일 강화유리👍🏼 [17]	AV_Lover	24.01.27	1238	10
207399	미니	플러스 사길 잘했네요 [4]	카더	24.01.27	707	4
207398	미니	갤럭시 생태계에 완벽 정착했습니다. [8]	워너비프란시스	24.01.27	1049	17
207397	미니	S24U vs S24+ 4K@30fps 야간 비디오 비교 [6]	흡혈귀왕	24.01.27	747	8
207396	미니	S24+ vs S23U 4K@30fps 야간 비디오 비교 [3]	흡혈귀왕	24.01.27	646	12
207395	미니	울트라 수퍼망원(x5) 50MP모드 안되는거 지금 버그죠?? [6]	aleji	24.01.27	430	0
207394	미니	엑시2400 현재 펌웨어기준 AndSPECMod 결과 별로네요 [27]	흡혈귀왕	24.01.27	1603	5
207393	미니	삼케플은 폰 단위로 계약되는거죠? 본인이 수리하러가야되나요 [4]	기만심문관	24.01.27	539	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정