미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1477
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114248	13
핫글	미니	이번 서피스 역대급인데요? [17]	시엠	09:22	1533	18
핫글	미니	와 그저 타임라인만 볼 수 있는게 아니네요 ㅋㅋ [10]	Fluent	12:41	1011	14
핫글	미니	새로나온 서피스 랩탑 넘 이쁘네요 ㄷㄷㄷ [9]	maMeong	06:14	1531	12
151312	미니	새로나온 SD카드좀 팔 겸 S22에 슬롯 "넣어줘" [2]	GNXY901TW	21.10.20	451	2
151311	미니	삼성파운드리 로드맵 [5]	흡혈귀왕	21.10.20	677	2
151310	미니	애플 광택용천은 구매하실 필요가 없읍니다. [3]	Futuristics	21.10.20	702	2
151309	미니	폴드3 스크롤 문제 개선작업 들어갔다네요 [5]	펄럭펄럭	21.10.20	705	2
151308	미니	액티브2, 워치3의 운명은 어떻게 될까요 [10]	MrGom™	21.10.20	508	2
151307	미니	맥 제품이 앞으로도 이래버리면 코인 채굴용이 되지 않을까요? [9]	S펜내장기원	21.10.20	1305	2
151306	미니	엑시노스 흑역사 4대장 중 최강을 골라보자 [72]	바보중	21.10.20	982	2
151305	미니	워치4 신규 워치페이스.jpg [13]	존버합니다	21.10.20	851	2
151304	미니	딴건 몰라도 구글이 이번에 힘 빡 준건 맞습니다 [13]	SM-G986N	21.10.20	840	2
151303	미니	픽셀6 초광각에 AF 이야기는 없군요. [9]	흡혈귀왕	21.10.20	382	2
151302	미니	픽셀 일단 지금만 봐서는 가성비 괜찮네요 [1]	인헤리턴스	21.10.20	415	2
151301	미니	그나저나 애플 곧 아이팟 단종시킬건가 보네요 [5]	1N9	21.10.20	830	2
151300	미니	작은픽셀 램 8기가군요 [2]	구보	21.10.20	658	2
151299	미니	발표 10분만에 가격까지 얘기해버리네요 ㄷㄷ [4]	열등생	21.10.20	909	2
151298	미니	의외로 5nm공정 주문한 회사 [6]	Elsanna	21.10.19	778	2
151297	미니	애플뮤직 아쉬운게	마직수	21.10.19	252	2
151296	미니	그래도 갤북이 예전보다는 생태계에 신경은 쓰는 거 같아요. [7]	아재건달_보노뭘보노	21.10.19	437	2
151295	미니	애플 신제품 리뷰 엠바고 해제 날짜 및 시간	애쁠마시따	21.10.19	390	2
151294	미니	오늘도 픽셀6 새벽 2시네요	애쁠마시따	21.10.19	242	2
151293	미니	근데 저도 맥북은 소수의 수요로만 굴러간다고 생각했는데... [5]	디즈니	21.10.19	551	2
151292	미니	저는 XPS랑 레이저 블레이드가 젤 예쁘더라고요 [11]	GNXY901TW	21.10.19	472	2
151291	미니	m1 맥북프로 처분했습니다. [1]	아야카	21.10.19	607	2
151290	미니	아무리봐도 S22U 카메라섬은.. [5]	불펌냥이	21.10.19	712	2
151289	미니	사실 저도 운좋게 컴퓨터 맞췄죠 [4]	sourire	21.10.19	353	2
151288	미니	사실 게임회사들은 성능따라 가는게 아니라 [6]	Qkooqq	21.10.19	385	2

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정