미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1477
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114255	13
핫글	미니	이번 서피스 역대급인데요? [17]	시엠	24.05.21	1673	18
핫글	미니	와 그저 타임라인만 볼 수 있는게 아니네요 ㅋㅋ [10]	Fluent	24.05.21	1122	15
핫글	미니	다들 과거의 기기를 올려주시는데 [4]	오레오가좋아	24.05.21	646	12
166643	미니	빅서 11.3에서 ipa 설치 막혔습니다. [11]	sourire	21.04.28	828	0
166642	미니	LG전자 "7월 이후에도 LG폰 걱정말고 구매하세요" [11]	Memeko	21.04.09	828	18
166641	미니	인텔 파운드리 재진출의 문제... [14]	RISCVCC	21.03.26	828	5
166640	미니	진짜 풀악셀 밟네요 [8]	Thomasp5675	21.03.09	828	2
166639	미니	우리나라에 애플티비플러스가 들어오려나봐요 [18]	팝카드있으세요	21.01.28	828	1
166638	미니	Sound Assistant 야발거 [12]	오토카모	21.01.25	828	8
166637	미니	S21U는 돈 쓸맛 납니다 [12]	선라이즈	21.01.16	828	7
166636	미니	10년간 스마트폰중 만족한 스마트폰 베스트5 [9]	므트므트므트	21.01.05	828	4
166635	미니	갤 21 전 모델 플라스틱은 심각하다고 생각되네요. [37]	띵똥	20.12.30	828	1
166634	미니	폴드보다 더 기대되는것. [3]	나랏미	20.12.24	828	4
166633	미니	추운 날씨에 유독 아이폰만 배터리 방전으로 꺼지는 현상을 말로만 들었는데 [25]	Havokrush	20.12.16	828	0
166632	미니	제품 발표 나온것도 아니고 [19]	폴드투를쓰는겁니다	20.12.16	828	8
166631	미니	디프에서 s20+ bts 83만원이네요 ㄷㄷ [10]	크나앙	20.11.29	828	3
166630	미니	액티브 2 지역 코드 변경 [3]	코나닥	20.11.25	828	0
166629	미니	아이폰12 프로맥스 코르크케이스 아 ㅋㅋ [18]	Stellist	20.11.21	828	0
166628	미니	이번 RTX 3080은 3개사가 거의 종결낸 거 같네요. [10]	한마루	20.10.19	828	2
166627	미니	삼성은 제조업 기업이 확실하다는걸 느낀게 [6]	Terrapin	20.10.13	828	6
166626	미니	그 고양이 트윗 삭제 했어요 [6]	레제르바	20.10.10	828	7
166625	미니	1등 [23]	김뉴비	20.09.14	828	28
166624	미니	노트20 유출기반 렌더링 [12]	lando	20.07.21	828	0
166623	미니	오옷 갤버즈X가 나오려나보네요!! [6]	긴닉네임2002250504	20.05.18	828	0
166622	미니	폴드처럼 강려크한 Z플립 [8]	qazsdf	20.03.05	828	0
166621	미니	맥북프로 13" 윤곽이 대략 나왔네요. [13]	Futuristics	20.02.21	828	0
166620	미니	실패한 아이팟 셔플.. [6]	Stellist	20.01.23	828	0
166619	미니	맥프로 랙마운트가 정말 난해한 물건인게 [4]	아라리	20.01.13	828	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정