미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1471
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	113718	13
핫글	미니	슬슬 날이 더워지니 아이폰 11과의 추억이 떠오르네요	bluesun	07:51	385	7
핫글	미니	사진갤펌)삼페x네페 교통카드가 나오나요? [8]	퍼핑	14:59	617	7
핫글	미니	7950X3D로 갑니다 [4]	Terminus	01:09	550	7
207930	미니	애플기기용 ai 기사 요약 단축어 [1]	성능확실	24.01.26	627	8
207929	미니	제것도 왔어요 [1]	트릴리언	24.01.26	246	6
207928	미니	6.1배터리보호는 80퍼군여 [3]	LTE	24.01.26	657	1
207927	미니	애플앱스토어의 EU정책 변경과 관련된 어느 트윗.jpg [1]	스퀴니	24.01.26	446	8
207926	미니	컬러스케일 강화유리 발송 메일 왔네요 [11]	AV_Lover	24.01.26	990	10
207925	미니	받았슈 [4]	슈테르네	24.01.26	409	9
207924	미니	S24울트라 긱벤치 결과 [7]	쿠키스무디	24.01.26	979	4
207923	미니	S26U 완전 기대됩니다 [4]	[성공]함께크는성장	24.01.26	795	8
207922	미니	ㄷㅅ 펌) s24p 배터리 분석 영상 해설	NeoSeven	24.01.26	906	4
207921	미니	드디어 도착입니다	갠냑시	24.01.26	246	8
207920	미니	태블릿 빅스비 UI 바꼈네요 [2]	LG산흑우	24.01.26	758	4
207919	미니	갤럭시s24 AI 기사 요약.jpg [6]	품귀문란	24.01.26	1037	4
207918	미니	S24U 와일드라이프 익스트림 스트레스 테스트입니다.	세츠나	24.01.26	500	6
207917	미니	삼성 강남에서 픽업하자마자 필름 부착 가능할까요? [10]	인헤리턴스	24.01.26	528	1
207916	미니	M3 아이패드 프로에 애플펜슬 3 출시 가능성이 있네요. [3]	요트맨	24.01.26	784	2
207915	미니	배터리가 순삭 당할정도면 [3]	갠냑시	24.01.26	1025	1
207914	미니	ㄷㅅ펌) s24p s23u 배터리테스트 [7]	NeoSeven	24.01.26	1283	3
207913	미니	24U 세팅 후 뜨뜻한 상태에서 긱벤치	세츠나	24.01.26	492	9
207912	미니	얼츄라는 맥세이프 케이스 쓰면 안되겠죠? [14]	미하엘무야허	24.01.26	507	0
207911	미니	노랑이 받았습미다 [12]	Rangs	24.01.26	707	16
207910	미니	MTK 측정에 대한 Golden Reviewer 추가 의견	좌지우건	24.01.26	471	1
207909	미니	24 플러스 수령해가라고 연락 왔는데 [4]	오옹	24.01.26	607	1
207908	미니	S24 중국판은 바이두 AI가 들어간다네요...? [5]	Stellist	24.01.26	1091	5
207907	미니	IT 정보에 올라온 글 보고 구글 어시스턴트 써봤습니다 [4]	갤럭시S23	24.01.26	468	1
207906	미니	[2일차 후기]S24 기본모델 배터리가 녹네요. 뭔가 이상해요.. [53]	clever	24.01.26	3881	8

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정