미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1493
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117480	13
핫글	미니	와 아이피타임 UI 진짜 대격변이네요 [8]	에피	13:12	1436	19
핫글	미니	버즈3프로 잘만드면 돈으로 혼쭐내줍니다.jpg [1]	품귀문란	12:54	685	11
핫글	미니	One UI 7 has huge changes [7]	iceuniverse	13:00	936	9
5420	미니	아이폰 대신 혁신을 업데이트한 카카오톡 [7]	aleji	23.09.13	1510	14
5419	미니	펑펑펑펑펑 [19]	리김밥	23.09.14	1195	14
5418	미니	통화녹음 때문에 아이폰을 못쓴다는건 옛말이 되었습니다. [31]	룬룬	23.09.16	1998	14
5417	미니	개인적으로 안드진영 ap들은 빅코어보다 시급한게 ... [14]	하와이조아	23.09.17	1666	14
5416	미니	와 아이폰 15 프로 무게 배분도 신경썼다네요. [10]	요트맨	23.09.17	1770	14
5415	미니	지금봐도 갤럭시디자인 goat [12]	GalaxyZFold5	23.09.19	1153	14
5414	미니	아이폰15 시리즈 리뷰 중 가장 충격적인거 [22]	오토카모	23.09.20	1537	14
5413	미니	BOE 아이폰 15 플러스도 나가리 당했군요 [5]	Antares	23.09.20	1098	14
5412	미니	솔직히 말하면 최근의 환경 어쩌고는 [5]	Qkooqq	23.09.20	838	14
5411	미니	솔직히 삼밴통에 파일관리도 넣어야 합니당... [21]	모코코	23.09.22	1052	14
5410	미니	아이폰 15 프로 맥스 저조도 위주 촬영 해봤어요 [19]	회기동길냥이	23.09.23	1815	14
5409	미니	오랜만에 엑페샷 [3]	S.R	23.09.24	579	14
5408	미니	저는 애플워치 디자인 괜찮다고 생각해요 [22]	너구리미니	23.09.24	987	14
5407	미니	테슬라 > 애플 [12]	십사프로씁니다	23.09.24	1090	14
5406	미니	애플, 안드로이드 케이블로 아이폰 충전하지 말라고 경고 [22]	룬룬	23.09.26	1431	14
5405	미니	A17 pro 의 발열 상황은 예상대로 흘러가는 모양새 [9]	AquStar	23.09.26	1621	14
5404	미니	다 떠나서 결론은 뜨겁다는거죠 [2]	Qkooqq	23.09.29	935	14
5403	미니	TSMC 공정이슈 없을겁니다 [7]	갠냑시	23.09.30	1509	14
5402	미니	아이폰 역대급으로 비싸네여...🥲 [15]	우주안녕	23.10.01	1986	14
5401	미니	중국, 인도산 아이폰은 불량이라며 SNS에서 선동 [2]	AquStar	23.10.04	711	14
5400	미니	오랜만에 안드 진영에서 한 건 했네요 [11]	S.R	23.10.11	2035	14
5399	미니	샀슈 [1]	아재건달_보노뭘보노	23.10.11	415	14
5398	음향	샀슈 [11]	Stellist	23.10.12	744	14
5397	미니	Gcam 공유 파일 관련하여... [8]	씨샾	23.10.12	582	14
5396	미니	15프로 2대 받았슈 [8]	김애용	23.10.13	621	14

👩🏼‍💻미코🌧️

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정