미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1477
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114244	13
핫글	미니	이번 서피스 역대급인데요? [17]	시엠	09:22	1264	16
핫글	미니	전 기변병이 치료된 게 [45]	Alternative	24.05.20	1124	14
핫글	미니	와 그저 타임라인만 볼 수 있는게 아니네요 ㅋㅋ [6]	Fluent	12:41	702	12
212965	미니	그래도 ICE UNIVERSE가 공신력이 높기는하죠. [11]	에이뽀임	20.12.08	1365	43
212964	미니	[긱벤치, 인벤치 결과비교] gos의 일반앱 관여가 확실하게 의심된다. [92]	아이쿠야잇	22.03.04	5206	43
212963	미니	대강 뜯어봤습니다 [25]	세상에나쁜개는없다	22.02.16	1802	43
212962	미니	애플 무능력 쓰레기 1티어 [21]	오토카모	22.04.11	2571	43
212961	미니	삼성은 영원히 애플 못 이길 것 같아요 [21]	로봇치킨	22.03.09	2612	43
212960	미니	A 칩셋의 긱벤치 6 점수가 AI때문에 높은게 말이 안되는 이유 [22]	Jdbwi	23.08.13	2391	43
212959	미니	아이패드에서 가끔 폰처럼 나오는 앱은 개발자 탓이 아닙니다. [30]	주차장	22.06.19	2053	43
212958	미니	'생태계' [21]	마키세크리스	22.05.03	2003	43
212957	미니	케이스티파이 핵추하네요 ㅋㅋㅋ [18]	여가어딥미코	23.11.24	3267	43
212956	미니	어제 회사 여사동들의 폰을 만지작거리다 조금 충격을 받았읍니다 [71]	로트레아몽	21.06.27	2390	43
212955	미니	I have an Exynos notebook [20]	iceuniverse	23.05.15	1890	43
212954	미니	삼멤 밴은 풀렸습니다. [53]	주차장	22.06.03	3375	43
212953	미니	애플이 정도껏 안해서 EU가 때려잡는 것 아닐까요 [9]	MrGom™	24.02.02	1471	43
212952	미니	삼성서비스센터는 까면 안되겠네요 ㅠㅠ [16]	품귀문란	23.11.06	1841	43
212951	미니	요즘 사람들은 식당 맛 없어도 잘 먹었다고 말합니다. [5]	콜홍	22.03.04	1614	42
212950	미니	MS의 도발 [27]	개🐶	21.07.21	2148	42
212949	미니	펑 [46]	사골센서	21.12.19	2906	42
212948	미니	이렇게까지 시장선점이 하고 싶은 걸까요? [63]	LG산흑우	21.01.14	2683	42
212947	미니	글라스틱은 잘 없어졌다고 생각합니다 [7]	으르렁자몽이	22.12.04	2067	42
212946	미니	통화녹음이 중요한 이유 [26]	PaulBasset	22.10.21	1797	42
212945	미니	장문) 조심스럽게 소신발언 [72]	SM-G986N	24.01.23	2695	42
212944	미니	??? : 우리 딸이 좋아할만한 디자인으로 만드세요 [15]	Aimer	21.10.05	1922	42
212943	미니	빙냥이♡미코 영원히 함께해 [29]	우주안녕	22.07.19	2707	42
212942	미니	gos는 변명거리도 없는 명실상부한 벤치마크 치팅이죠 [5]	아누라	21.09.24	1105	42
212941	미니	구글에서 이런 건 좀 제재를 가해야 하지 않나요...?? [17]	피자먹고싶은날	22.02.22	1851	42

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정