미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1477
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114261	13
핫글	미니	이번 서피스는 엄청나게 싸게 나온 축에 속합니다 [7]	212212	24.05.21	953	12
핫글	미니	다들 과거의 기기를 올려주시는데 [4]	오레오가좋아	24.05.21	808	12
핫글	미니	애플이 배워야 할 마이크로소프트 정책 [6]	Stellist	24.05.21	862	11
177094	미니	픽7프로 배터리+줌 [6]	인절미도둑	22.10.25	493	8
177093	미니	폴드3 원ui 5.0은 전 바뀐게 체감이 안되네요 [2]	띵홍	22.10.25	717	1
177092	미니	삼성이 광고를 못하는 회사가 아닌데 [5]	베이어	22.10.25	927	5
177091	미니	망 사용료 근황 [26]	Angry	22.10.25	1541	11
177090	미니	홍미노트12Pro 200MP HPX + 디멘시티1080 조합이라는데... [1]	흡혈귀왕	22.10.25	764	0
177089	미니	Expert Raw 챌린지 [3]	노을빛하늘	22.10.25	520	0
177088	미니	스테이지 매니저사용시 스와이프 뒤로가기? 그게 잘안되는데 맞나요?? [3]	두짱	22.10.25	880	2
177087	미니	스타벅스 케이스 저렴하게 사기 (삼성페이 유저만) [10]	오토카모	22.10.25	1000	8
177086	미니	갤럭시 인증번호가 키보드에 자동으로 안뜨네요 [3]	swing546	22.10.25	930	1
177085	미니	혹자가 그러더라구요. [18]	요기조기	22.10.25	881	3
177084	미니	지구 반 바퀴를 돌아 크롬북이 제 품으로 돌아왔습니다.	하루살이	22.10.25	410	9
177083	미니	상단바 이렇게 해도 괜찮네요 [4]	갠냑시	22.10.25	726	1
177082	미니	삼성 os 업데이트 방식이 지금 이거 맞나요? [3]	갠냑시	22.10.25	886	0
177081	미니	이건 모서리 페인트가 까진건가요??? [6]	딱풀	22.10.25	555	0
177080	미니	zelf 애플페이 한달후기 [4]	댕밤	22.10.25	903	1
177079	미니	뷰파인더에도 보이는 이상한 샤픈....	씨샾	22.10.25	344	1
177078	미니	흠..홍미노트12프로 플러스에 200MP 넣는다는군요? [1]	스퀴니	22.10.25	392	1
177077	미니	애플페이 뚫리면 결제도 결젠대 [7]	Qkooqq	22.10.25	984	0
177076	미니	내년페이 근황 [4]	Qkooqq	22.10.25	1342	9
177075	미니	업무용 노트북 샀습니다 [2]	딸기맛치킨	22.10.25	432	0
177074	미니	애플워치는 처음 써보는데 이것도 만족스럽네요 [10]	쪼다	22.10.25	733	1
177073	미니	이 친구 왜그래요 ㅠㅠ [5]	만두궁물	22.10.25	579	0
177072	미니	꺆 파이썬 3.11이 발표됐군요! [13]	ONNURI	22.10.25	739	2
177071	미니	갤럭시는 잠금아이콘도 바꿔지네요 ㅋㅋ [12]	에피	22.10.25	1552	14
177070	미니	삼성 이거 감당가능한 업데이트 일정인지 [19]	존버합니다	22.10.25	1821	11

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정