미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1493
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117679	13
핫글	미니	드디어 받았습니다 [11]	도나쓰	24.07.30	838	25
핫글	미니	살짝 부끄러운 효도...♡ [3]	수육썰다가다친손	24.07.30	400	16
핫글	미니	부산여행기 (feat.S23울트라)_스압주의 [6]	씨샾	24.07.30	299	15
6307	미니	한컴 얘들 삼성하고 끝났나보네요? [13]	[성공]함께크는성장	21.12.02	1829	5
6306	미니	엑시노스2400은 기대하셔도 됩니다 [21]	갠냑시	22.11.08	1829	7
6305	미니	아버지 S22 울트라 완파 사건 서비스센터 1차 후기 [61]	Mate	24.03.11	1829	32
6304	미니	갤럭시북2 는 네모네모한 디자인이네요 [3]	눈팅킹	18.09.12	1830	0
6303	미니	삼성에 관대할 필요는 없으니까요 [23]	헤페바이쎄	21.11.13	1830	33
6302	미니	아이폰 생폰 쓰시는 분들 [14]	함흥비빔냉면	22.04.17	1830	4
6301	미니	이번 워치는 AP개선이 있나요? [7]	헤페바이쎄	23.06.18	1830	4
6300	미니	애플코리아 카피 담당자분들은 일당백을 하시는듯 하네요 [25]	biller	24.01.23	1830	29
6299	미니	루머: 스냅드래곤 8 Gen 4, 8 Gen 5 관련 [10]	Section31	24.02.13	1830	1
6298	미니	ios18 제어센터라는데 [21]	오레오가좋아	24.06.01	1830	10
6297	미니	미친 삼성 협력사에서 출시일정을 다 까발렸는데요 ㅋㅋㅋㅋㅋ [32]	Eidio	21.02.16	1831	20
6296	미니	안드로이드도 빨리 32비트를 쳐내야.. [12]	sjkoon	21.03.15	1831	9
6295	미니	그럼에도 불구하고 갤럭시를 쓰는게 [20]	Elsanna	21.10.03	1831	11
6294	미니	카톡으로 64MP사진 보내면 생기는 참사 [22]	Chrop	21.10.09	1831	1
6293	미니	쿠팡에서 얼츄라 할인하는데 [23]	fin	22.04.26	1831	7
6292	미니	스코코에서 AR필름 나오네요 [6]	대왕오징어	22.05.15	1831	0
6291	미니	네이버페이 웨어OS 떴습니다 [3]	일.칠칠이사오삼팔오	22.06.02	1831	0
6290	미니	애플답지 않게 왜 다르쥬 [9]	오토카모	22.06.07	1831	5
6289	미니	Z Fold 3 vs Z Fold 4 이미지 몇 장 더 [24]	rofl	22.07.29	1831	14
6288	미니	S23 기본모델에 UWB 들어간거 맞나용...? [4]	바쁜벌꿀의슬픔	23.02.02	1831	0
6287	미니	워치6 17만원인상...? [20]	이시우배찌	23.06.22	1831	6
6286	미니	요즘 아이폰 디자인이 좋아서 샀단 소리는 매우 드물더군요 [20]	나르자	23.07.03	1831	19
6285	미니	트위치 사태 관련 통신업체 입장 [17]	룬룬	23.12.07	1831	16
6284	미니	아이패드가 컴퓨터 드립을 치려면 [17]	흡혈귀왕	24.06.28	1831	17
6283	미니	<도와주세요>유튜브 화면 크기 변경 시 진동이 울리는데 [2]	727272	20.09.14	1832	0

👩🏼‍💻미코🌧️

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정