미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1477
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114248	13
핫글	미니	이번 서피스 역대급인데요? [17]	시엠	09:22	1558	18
핫글	미니	와 그저 타임라인만 볼 수 있는게 아니네요 ㅋㅋ [10]	Fluent	12:41	1034	15
핫글	미니	새로나온 서피스 랩탑 넘 이쁘네요 ㄷㄷㄷ [9]	maMeong	06:14	1553	12
151313	미니	삼닷 혜택이 짜군요	Angry	22.02.14	253	0
151312	미니	쓱닷컴에서 노멀22 삿슈 [3]	형부거긴안돼요	22.02.14	250	1
151311	미니	마이 갤럭시 플랜? 삼성이 이상한 걸 내놨군요... [2]	쑥부쟁이	22.02.14	1492	0
151310	미니	지마켓이 최고네요 무이자 혜택!~!!!! [3]	보미짱	22.02.14	358	1
151309	미니	아악 갤캠스 문열어어ㅓ억	유비소프트	22.02.14	104	0
151308	미니	와...겨우겨우 샀슈	바라보다	22.02.14	169	0
151307	미니	아니 결제창까지갔는데 결제가 안되는건 무슨경우...입니꽈? [2]	두짱	22.02.14	158	0
151306	미니	사고싶슈	워런티비오루	22.02.14	80	0
151305	미니	갤캠스보다 쿠팡이 더 저렴한거 같은데요...? [11]	샤크바프론	22.02.14	608	0
151304	미니	미코님들 덕분에 쿠팡 예구 성공했습니다 감사합니다❤ [5]	pata	22.02.14	348	5
151303	미니	스카이블루 색상 구매 어려울것 같네요 [4]	Closers	22.02.14	276	0
151302	미니	샀스ㅠ [3]	Pmg0207	22.02.14	185	1
151301	미니	저는 이미 망한 것 같네요. [8]	Eyedi팬	22.02.14	398	1
151300	미니	갤캠스 정상화됐는데 레드 재고 없으면 디지털시티 1인시위 갑니다	GNXY901TW	22.02.14	156	0
151299	미니	갤럭시 S22, 베트남에서 일 10만대 생산 [1]	Thomasp5675	22.02.14	383	2
151298	미니	S22시리즈, tab S8시리즈 삼성 패밀리넷 가격 [6]	우주안녕	22.02.14	809	0
151297	미니	노태문 문열어~!!~~!!~~! [11]	오토카모	22.02.14	288	0
151296	미니	갤캠스 되나요 [3]	바고부	22.02.14	190	1
151295	미니	역시나 쿠팡해버렸네요 [1]	Elsanna	22.02.14	312	1
151294	미니	삼성닷컴 대기자 183명!! [3]	흡혈귀왕	22.02.14	257	1
151293	미니	S22U 샀슈 [1]	후루꾸루	22.02.14	284	1
151292	미니	플러스는 확실히 오래가긴 하는거 같네요 [2]	Thomasp5675	22.02.13	391	0
151291	미니	디플 512gb + 스마트모니터 M7이 조건이 괜찮나 보네요 [10]	Closers	22.02.13	404	0
151290	미니	사전구매할때 민팃이나 그외 뭐 체크해야할사항이있나요? [1]	두짱	22.02.13	157	0
151289	미니	젭알 지마켓 라이브 갤탭s8u 깡통(8/128, wifi) 순삭 안되길빕니다. [2]	바라보다	22.02.13	241	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정