미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1499
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
				
1등갤럭시S23
		2024.04.17. 22:00					

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
		2024.04.17. 22:10					

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
		2024.04.17. 23:29					
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
		2024.04.18. 08:34					

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
		2024.04.18. 08:51					
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
						 sourire 님께
				
		2024.04.18. 17:25					
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
						 nicksuh 님께
				
		2024.04.18. 17:53					
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	119769	13
핫글	미니	탭 s10 공개 됐네요 [14]	cmbbb	00:12	1507	12
핫글	미니	실물 보고 오면 눈만 더 높아 지네요 [5]	KIKIRAKA	24.09.26	937	12
핫글	미니	안드로이드 디바이스 스팀 게임 구동 근황 (Winlator) [6]	흡혈귀왕	00:29	950	12
218926	미니	텐서를 그렇게 만드는 이유가 뭐든 [3]	AurA	24.08.29	695	2
218925	미니	버즈 3는 정말 별 증상이 없는건지 [2]	AurA	24.08.29	494	2
218924	미니	지금 상황이 참 씁쓸하네요 [27]	히토미유산균	24.08.29	2264	19
218923	미니	삼성이 4210 7420 시절 잘하던거 맞습니다 [15]	갠냑시	24.08.29	958	5
218922	미니	엑시노스 1x30, 1x80라인업은 3나노로 못 찍나요? [11]	애애앵	24.08.29	762	2
218921	미니	4210, 7420은 뭐였을까요 [17]	Niflheimr	24.08.29	672	1
218920	미니	갤럭시 노트20 시리즈 펌웨어 업데이트	운김	24.08.29	237	0
218919	미니	E2500 얘기 가만히 보면서 드는 생각인데요 [16]	[성공]함께크는성장	24.08.29	1501	4
218918	미니	갤럭시 S20 시리즈 펌웨어 업데이트	운김	24.08.29	395	1
218917	미니	결국 6.1.1이고 7.0 베타고 8월은 아닌가 보네요. [4]	코우키	24.08.29	868	7
218916	미니	2500 드랍썰 보고 드는 생각 [10]	Niflheimr	24.08.29	1491	6
218915	미니	e2500 플립 탑재 그럴싸해 보이는게 [12]	톰슨가젤	24.08.29	1187	6
218914	미니	일반소비자입장에서보면 엑시가저럴수록 [6]	S27울트라존버	24.08.29	735	1
218913	미니	아이패드 미니 7세대는 당연히 $499 가격 그대로겠죠. [4]	요트맨	24.08.29	700	3
218912	미니	엑시노스2500넣고 89만9천원 가즈아 [7]	갠냑시	24.08.29	967	5
218911	미니	갤럭시E 라는 이름을 부활시키면 어떨까요? [8]	Stellist	24.08.29	715	4
218910	미니	이번 2500 사태를 추측 해보자면 [7]	NeoSeven	24.08.29	1182	10
218909	미니	엑시노스를 TSMC로! [24]	BarryWhite	24.08.29	1297	7
218908	미니	요번 엑시는 원인이 어느쪽일까요? [22]	톰슨가젤	24.08.29	1254	5
218907	미니	도대체 2500 수율이 얼마인지 궁금하네요 [3]	애애앵	24.08.29	845	3
218906	미니	차라리 판매량 적은 갤럭시탭에 디멘말고 엑시를 박는게 낫지않을까 싶은데요 [6]	존버합니다	24.08.29	760	8
218905	미니	s23 기본 vs s24 기본 배터리 타임하면 [7]	익명	24.08.29	624	0
218904	미니	서피스 5G 말고 그냥 일반모델로 살까 싶네요	하루우라라	24.08.29	168	0
218903	미니	유튜브 프리미엄 인도 가격 오르네요 [1]	룬룬	24.08.29	834	2
218902	미니	잡담: (블라발) E2500, S시리즈 불발... Z시리즈 가능성? [22]	Section31	24.08.29	2123	12

👨‍👩‍👧‍👦미코🌕

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

확장 변수

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정