미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1475
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114238	13
핫글	미니	전 기변병이 치료된 게 [22]	Alternative	24.05.20	653	10
핫글	미니	삼성 공홈 액세서리 떨이 보면서 다시 한 번 느끼는 거지만 [4]	[성공]함께크는성장	24.05.20	913	6
핫글	미니	탭 A9+ 한 대 더 구입했습니다. [3]	딸기맛치킨	24.05.20	351	6
166415	미니	내년 S23U 200MP 꽤 흥미롭겠네요... [5]	흡혈귀왕	22.07.22	826	7
166414	미니	토스 알뜰폰은 좀 기대되네요 [6]	민초홀릭	22.07.22	899	1
166413	미니	삼성전자, 5000만대 팔린 폰 후속작 '갤럭시A13' 출시 ㅡㅡ; [18]	다람쥐	22.07.22	1306	2
166412	미니	샀슈 [10]	쿼드쿼드	22.07.22	646	14
166411	미니	폴드 4가 260그램이 넘는다는 이야기가 있네요 [12]	NIMOSHI	22.07.22	979	2
166410	미니	맥북에어 M2 디자인은 진짜 이쁘네요 [11]	쿼드쿼드	22.07.22	1003	6
166409	미니	모토로라 레이저3/X30프로 8월2일 공개 [2]	이응이응	22.07.22	390	1
166408	미니	코덱간 음질 차이가 그래프로도 나오는군요 [2]	SKYPROBE	22.07.22	471	2
166407	미니	삼성, 갤럭시워치 AP도 4나노 선단공정 채택할까 [4]	다람쥐	22.07.22	889	2
166406	미니	드디어 연결 프로그램 선택 창이 업뎃됬네요 [4]	Alternative	22.07.22	765	5
166405	미니	SD8 Gen2에서는 8K@60fps AV1 디코딩 기원합니다. [9]	흡혈귀왕	22.07.22	839	3
166404	미니	삼성 Hexa²pixel 상표를 출원 [7]	흡혈귀왕	22.07.22	1030	4
166403	미니	폴드3 커버/메인 보호필름 교체는 [3]	은퇴얼리	22.07.22	531	1
166402	미니	IOS 16 베타를 쓰면서 느꼇던 앱 문제 [4]	잇흥	22.07.22	673	1
166401	미니	Z플립4, Z폴드4 예판 사은품 예상. [15]	요기조기	22.07.22	1558	1
166400	미니	뭔가 유튜브나 컨텐츠회사들 AV1 도입이 늦어지고있는거같지않나요?? [7]	dlwlrma	22.07.22	978	0
166399	미니	샤오미 12sU 카메라 후기 나왔네요 [1]	S.R	22.07.22	935	6
166398	미니	다들 M2를 얘기할 때 샀슈.jpg [18]	열등생	22.07.22	1677	17
166397	미니	폴드4 1테라 나오겠죠....? [2]	수육썰다가다친손	22.07.22	733	0
166396	미니	샀슈 [5]	[성공]함께크는성장	22.07.21	594	8
166395	미니	스마트폰 카메라 트렌드는 또 바뀌는거 같네요. [10]	읭읭이	22.07.21	1776	9
166394	미니	쿠팡에 너싱폰1 판매시간 떠 있네요 [14]	aleji	22.07.21	1320	5
166393	미니	센터에 필름 팔까요? [8]	[성공]함께크는성장	22.07.21	473	0
166392	미니	역시 인코더 머신은 인텔입니다.jpg [14]	스퀴니	22.07.21	1233	4
166391	미니	폴드4 사전예약 가격은 얼마까지 내려갈까요? [8]	zxc122	22.07.21	859	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정