미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1477
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114261	13
핫글	미니	이번 서피스는 엄청나게 싸게 나온 축에 속합니다 [8]	212212	24.05.21	1132	12
핫글	미니	다들 과거의 기기를 올려주시는데 [4]	오레오가좋아	24.05.21	951	12
핫글	미니	애플이 배워야 할 마이크로소프트 정책 [6]	Stellist	24.05.21	1008	11
177106	미니	S20재림을 막아야한다지만 이게 최선인가 싶어요 [4]	패주초	22.07.24	929	0
177105	미니	iOS 16 베타3에서 추가된 전설의 배경화면...jpg [5]	릅갈통	22.07.10	929	4
177104	미니	Nothing폰 아직 중립박습니다 [17]	Alternative	22.06.22	929	1
177103	미니	아이폰14프맥 사려고 존버중이었는데 [4]	HQteam	22.06.19	929	1
177102	미니	S22U 6월 업데이트 카메라 수채화현상 확인 결과 [2]	쿠키스무디	22.06.13	929	0
177101	미니	근데.. Windows진영 생태계가 의미가 있나요? [1]	Futuristics	22.05.03	929	3
177100	미니	멀티 컨트롤 마렵습니다 [5]	[성공]함께크는성장	22.05.01	929	0
177099	미니	SK하이닉스가 비메모리 선단공정 파운드리 업계에 진출할 가능성이 있을까요? [4]	kevpark332	22.04.22	929	0
177098	미니	그래도 S22 카메라 색감은 좋네요. (데이터주의) [2]	알휙	22.03.21	929	11
177097	미니	탭S7fe 램 4기가 생각보다 버벅임 덜하네요? [6]	이라세오날	22.03.15	929	1
177096	미니	제가 아이패드 못 쓰는 이유 [9]	sands	22.03.08	929	4
177095	미니	gos 일반앱 개입하는것 맞나요? [7]	이별노트	22.03.07	929	1
177094	미니	폴드3에서 S22U로 오면서 역으로 체감된 점 [2]	쑥부쟁이	22.03.01	929	0
177093	미니	[기고문] 또 한 번 한계를 넘어, 스마트폰의 새로운 기준을 정립하다 [11]	Railgun	22.01.21	929	8
177092	미니	노트10/S10 PIP 라운딩처리 문의 답변이 오긴왔는데.. [9]	늘늘늘	22.01.19	929	5
177091	미니	S시리즈 울트라 모델도 작은사이즈로 나오면 좋을거같은데 ㅜ 안나오겠죠? [3]	두짱	21.12.28	929	0
177090	미니	픽셀1의 야간모드는 경이롭네요... [13]	Iikkaa	21.11.23	929	5
177089	미니	픽셀6 프로 20배줌 촬영.jpg [9]	사람in	21.10.20	929	5
177088	미니	생태계 없이 only 폰만 산다면? 어느쪽을 고르시겠습니까?(메인폰) [13]	달무리	21.10.03	929	1
177087	미니	쿠팡에서 새로 산 맥북에 다른 사람 사진이?…쿠팡·애플은 “이유 몰라 [19]	우주안녕	21.09.28	929	5
177086	미니	폴드2 리퍼 79.9만원에 판매하네요 [6]	아이폰Xs골드	21.09.02	929	3
177085	미니	전설의 "그게임"이 갤스토어에서 광고하네요 [3]	여가어딥미코	21.08.29	929	1
177084	미니	윙과 마지막 밤 [8]	Idle6	21.06.17	929	12
177083	미니	갑자기 엑시노스가 승급했습니다 [2]	ATNT	21.06.13	929	1
177082	미니	이성을 챙기니 단점들이 보이기 시작하네요 [18]	Aimer	21.04.29	929	1

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정