미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1485
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114995	13
핫글	미니	갤럭시북4 엣지 질렀습니다.. [16]	Gottago	24.06.14	926	15
핫글	미니	스테이지엑스 제4이통 취소절차 들어간다네요 [11]	Chrop	24.06.14	1033	13
핫글	미니	갤탭에 9300+가 오히려 좋은이유 [19]	GalaxyBudsSeries	24.06.14	1441	11
205242	미니	인간이 할 수 있는 친환경은 오래쓰는것입니다 [12]	프로놈팡이	23.09.21	717	10
205241	미니	옛날 기기 모음입니다. 갤투,넥서스7,엑페X퍼,S21U까지 [9]	바다감초커스타드크림	23.09.20	528	10
205240	미니	저는 아이폰15프로가 [14]	내이름은커난	23.09.20	1251	10
205239	미니	또 다른 유튜버의 아이폰15프로/프맥 배터리 테스트 [10]	Stellist	23.09.20	1105	10
205238	미니	1년전 아이폰14 출시때 글들을 보니 격세지감이군요 [1]	EricCartman	23.09.20	587	10
205237	미니	관심없으실 중국 플래그십 발표예정일 [10]	choijm0715	23.09.19	721	10
205236	미니	갤럭시 쓰는 이유 [17]	우주안녕	23.09.18	1148	10
205235	미니	파인우븐 케이스는 진짜 너무하다 싶습니다 [6]	크나앙	23.09.17	1416	10
205234	미니	오늘의 ios17 먹은 폰카 4컷 📷 [12]	개구리	23.09.16	916	10
205233	미니	오늘자 14프맥 동대문 신당동.jpg [8]	품귀문란	23.09.16	1116	10
205232	미니	블라인드 게시물	익명	23.09.15	576	10
205231	미니	15프맥공.. 어찌 껍데기만 오셨소.. [2]	회기동길냥이	23.09.15	858	10
205230	미니	저는 적어도 as만큼은 애플을 신뢰하지 않습니다 [5]	아재건달_보노뭘보노	23.09.15	659	10
205229	미니	폰카35mm 미리보기 📷 [11]	개구리	23.09.14	594	10
205228	미니	언케 아이폰15 총정리 [4]	아재건달_보노뭘보노	23.09.13	1153	10
205227	미니	워치4 업그레이드 진짜 대만족이네요 [8]	비둘기야먹자	23.09.11	1714	10
205226	미니	SMIC 7나노가 상당부분 TSMC N7이랑 비슷하다는데 [3]	흡혈귀왕	23.09.10	1230	10
205225	미니	샀슈 [6]	쿼드쿼드	23.09.09	640	10
205224	미니	아이폰 14프로맥스 포천의 풍경들.jpg [4]	품귀문란	23.09.09	1020	10
205223	미니	오... 낫싱2 투고... [9]	후루꾸루	23.09.08	1064	10
205222	미니	지금 시점에서는 지문인식이 페아보다 나은 것 같아요 [25]	Niflheimr	23.09.06	1597	10
205221	미니	1/1.9인치 48MP일 경우 0.85um 정도 나오겠네요. [8]	흡혈귀왕	23.09.06	749	10
205220	미니	아이폰XS 뜯어서 배터리 새걸로 교체.... [12]	미기코리아	23.09.03	1232	10
205219	미니	근데 플립4 디자인이 진짜 이쁘긴하네요 [7]	품귀문란	23.09.03	1202	10
205218	미니	‘반짝’ 그친 애플페이 효과···현대카드, 신규 회원 유입 둔화세 지속 [15]	MrGom™	23.08.31	1686	10

👩🏼‍💻미코🌞

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정