미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1499
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
				
1등갤럭시S23
		2024.04.17. 22:00					

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
		2024.04.17. 22:10					

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
		2024.04.17. 23:29					
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
		2024.04.18. 08:34					

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
		2024.04.18. 08:51					
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
						 sourire 님께
				
		2024.04.18. 17:25					
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
						 nicksuh 님께
				
		2024.04.18. 17:53					
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	119697	13
핫글	미니	소프트웨어 지원은 오히려 애플이 별로인 느낌이에요 [27]	스이공	24.09.25	1502	11
핫글	미니	iOS 18 스크롤시에 주사율 80Hz로 제한한다는 썰이 있군요 [8]	Stellist	24.09.25	1348	10
핫글	미니	아이폰도 중고가격 방어 안되네요. [21]	애옹애옹애옹	10:49	1081	9
218896	미니	밍치궈 피셜로도 아이폰 SE4 8GB 램 확정이네요. [10]	요트맨	24.08.29	1436	11
218895	미니	갤럭시 탭 A8 Wi-Fi One UI 6.1 업그레이드	운김	24.08.29	291	1
218894	미니	잡담: 추가 스냅드래곤 X시리즈 SKU 9월 4일 발표 [3]	Section31	24.08.29	533	2
218893	음향	버즈3프로 유닛 교체받았읍니다 [5]	허쉬	24.08.29	637	3
218892	미니	S24 6.1.1은 언제쯤 나올까요... [2]	바닐라라떼	24.08.29	717	3
218891	미니	아이폰 16프로도 5배줌으로 변경되는건가요? [5]	choijm0715	24.08.29	592	0
218890	미니	아이폰 17 프로맥스만 12GB 램,베이퍼 챔버 탑재라는데요. [9]	요트맨	24.08.29	1032	4
218889	미니	오늘 내일 중 결판을 내주십쇼 [2]	후루꾸루	24.08.29	814	3
218888	미니	출시 준비중인 특이한 폰 [11]	읭읭이	24.08.29	1642	9
218887	미니	엑스박스 호재 소식 [2]	BarryWhite	24.08.29	757	0
218886	미니	AMD Zen5 그래도 희망이 좀 있네요. [9]	BarryWhite	24.08.29	764	2
218885	미니	아이폰 16 램 8GB, 17부터 12GB [23]	BarryWhite	24.08.29	1064	5
218884	미니	갤럭시 S25 울트라 두께 8.25mm 보다 얇다? [5]	BarryWhite	24.08.29	813	1
218883	미니	M4 맥북 프로 모델 생산 들어갔다고 합니다. [1]	BarryWhite	24.08.29	374	0
218882	미니	개인적인 엑시노스 사용 방안과 갤럭시S시리즈 [1]	갠냑시	24.08.29	636	3
218881	미니	엑시는 결국 계속 써야합니다 [7]	MiCasaEsSuCasa	24.08.29	1227	9
218880	미니	hanmail.com 주소로도 메일을 받을 수 있나요? [5]	scjang01	24.08.29	618	0
218879	미니	iOS 18.1 beta3 변경점 [8]	sjkoon	24.08.29	907	7
218878	미니	기획 초기 때 포착은 분명 동결이긴했는데 [2]	흡혈귀왕	24.08.29	1054	3
218877	미니	의외로 후속작이 나온 특이한 폰 [5]	읭읭이	24.08.29	1057	1
218876	미니	이거 폴드 SE에 2억 화소 들어간다는건가요...? [6]	노다	24.08.29	1132	2
218875	음향	버즈3 프로 [3]	시릴라	24.08.29	606	4
218874	미니	미리 보는 폴드6와 폴드 슬림의 차이...jpg [9]	Fluent	24.08.28	1517	2
218873	미니	저는 이번 SE4 한국 가격이 궁금해집니다 [8]	KIKIRAKA	24.08.28	796	5
218872	미니	점점 똥믈리에가 되고 있습니다.	아재건달_보노뭘보노	24.08.28	323	1

👨‍👩‍👧‍👦미코🌕

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

확장 변수

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정