미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1493
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117657	13
핫글	미니	효도폰 샀습니다 [7]	북극곰플	08:01	508	16
핫글	미니	폴드6만큼 구매자와 비구매자의 괴리가 큰 제품 없을거 같네요 [13]	베이어	02:13	1273	14
핫글	미니	아이콘 좋아졌든 나빠졌든 바뀌는거 자체는 맘에 드네요 [2]	파치마리	04:03	822	9
5536	미니	담당자님 답변 바로 왔네요 [7]	흡혈귀왕	23.02.24	1313	14
5535	미니	S23ul vs 14pro 자세한 리뷰가 올라왔네요 [11]	mong	23.02.24	1372	14
5534	미니	Zen4 3D 게이밍 킹 탈환이네요 [5]	흡혈귀왕	23.02.27	1273	14
5533	미니	GSM아레나 샤오미13 프로, 비보 X90 프로, S23U 카메라 비교 [15]	흡혈귀왕	23.03.03	1685	14
5532	미니	갤캠 S23울트라 주문했습니다. [2]	클로비츠	23.03.03	699	14
5531	미니	RDNA에는 재미난 일이 있죠 [1]	갠냑시	23.03.05	1286	14
5530	미니	S23U 프로모드 좋네요 [4]	썸머싸이드	23.03.06	860	14
5529	미니	3신기를 모았습니다. [1]	후루꾸루	23.03.08	1179	14
5528	미니	S23U 쓰면 쓸수록 만족스럽네요 [29]	하나림	23.03.08	1605	14
5527	미니	성수 갤럭시 s23 체험 존 사진들 [3]	S.R	23.03.08	1239	14
5526	미니	인물모드 안쓰고 폰카찍기 📷 [20]	개구리	23.03.10	1091	14
5525	미니	13프맥 진짜진짜 맘에 듭니다 [15]	크나앙	23.03.11	1521	14
5524	미니	유잼도시 울산 사진들 (S23U) [5]	고민은배송을늦출뿐	23.03.12	1043	14
5523	미니	마지막 아이폰 케이스를 주문했습니다. [10]	Stellist	23.03.12	1262	14
5522	미니	밑에 올라온 LG 시네빔 PU700R은 정말 이해가 안가네요 ; [8]	Stellist	23.03.13	1677	14
5521	미니	S23FE... [25]	흡혈귀왕	23.03.13	1687	14
5520	미니	the Verge: 삼성이 달고리즘으로 구라치다 걸리다 [12]	지나가던호갱	23.03.14	2163	14
5519	미니	?? : 에에엣..버지쿤... [6]	Butzed	23.03.14	1134	14
5518	미니	스냅8 Gen3는 제가 구성을 잘못 인지하고 있는걸수도 있겠네요 [8]	흡혈귀왕	23.03.16	1582	14
5517	미니	스팀덱 10% 할인 행사중인데 밸브 쩔어 줍니다 [10]	딸기맛치킨	23.03.17	1181	14
5516	미니	삼전 마케팅 진짜 🐕못해요... [12]	민초홀릭	23.03.20	2049	14
5515	미니	애플페이 교통카드가 불편하시다구요? [18]	목적격관계대명사	23.03.21	1548	14
5514	미니	애플페이 최단기간 100만 돌파라네요..ㄷㄷ [9]	biller	23.03.22	1603	14
5513	미니	S23U 솜사탕 에디션 (이쁨 주의) [18]	수육썰다가다친손	23.03.23	1602	14
5512	미니	망원 있으니까 삶이 달라지네요 [7]	그냥페퍼	23.03.24	1071	14

👩🏼‍💻미코🌧️

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정