미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1499
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
				
1등갤럭시S23
		2024.04.17. 22:00					

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
		2024.04.17. 22:10					

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
		2024.04.17. 23:29					
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
		2024.04.18. 08:34					

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
		2024.04.18. 08:51					
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
						 sourire 님께
				
		2024.04.18. 17:25					
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
						 nicksuh 님께
				
		2024.04.18. 17:53					
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	119694	13
핫글	미니	"아이폰 노멀에 90Hz, 120Hz 들어가면 프로가 안 팔린다" [23]	Niflheimr	24.09.25	1188	13
핫글	미니	BOE 아이폰 16 프로 탑재썰은 첨부터 헛소리로 봤던게 [4]	요트맨	24.09.25	935	11
핫글	미니	iOS 18 스크롤시에 주사율 80Hz로 제한한다는 썰이 있군요 [7]	Stellist	24.09.25	941	11
220272	미니	엑시노스 혐오는 이해하지만 비난은 자제했으면 합니다 [32]	신한대알바	23.09.15	1580	35
220271	미니	Nothing Phone(2) [16]	Stellist	23.09.14	1198	35
220270	미니	참 의도가 뻔히 보이는 비교 아닌가요? ㅋㅋ [13]	클라비스	23.08.28	2148	35
220269	미니	갤럭시 카메라에 대한 넋두리...좀 하겠습니다. [58]	SDcard	23.06.12	2818	35
220268	미니	이게 왜 제손에 [3]	이태리밤고구마	23.02.23	1537	35
220267	미니	모 유튜버가 폰을 또 바꿨다고 합니다.gisa [5]	갤럭시S2	23.02.14	2205	35
220266	미니	조금 악의적인 감정을 담아서 [22]	도저히못참겠다	23.01.20	1818	35
220265	미니	박명수로 보는 엑시노스의 역사 [7]	패주초	23.01.09	1984	35
220264	미니	애플은 AS에 대한 책임감도 AS가 뭔지 이해하려는 의지도 없습니다. [12]	도저히못참겠다	22.11.16	1417	35
220263	미니	일반 소비자용 제품에 가혹한 잣대를 들 필요는 없습니다. [14]	사람볼때휴대폰부터봄	22.11.04	1342	35
220262	미니	와 진짜 디테일 변태같네요 [12]	존버합니다	22.09.14	2433	35
220261	미니	지인 결혼식에서 한컷 건졌습니다 (feat.gcam) [16]	swing546	22.09.04	1987	35
220260	미니	아니 어째서 이게 제 손에 [30]	아이폰13프로	22.08.21	1815	35
220259	미니	단기간에 성과를 내지 못한 몽구스 해체는 아쉽다면서 [11]	AquStar	22.08.20	1421	35
220258	미니	미코분들의 추천을 부탁드립니다. [30]	Serenity	22.05.25	2834	35
220257	미니	이것이 마소의 갬성인가요 [14]	KngMn_n	22.03.15	1899	35
220256	미니	미코 앱 0.2 업데이트 [24]	Cide	22.02.13	1090	35
220255	미니	삼성은 애플 수준의 경험을 제공할 수가 없어요 [32]	[성공]함께크는성장	22.02.05	2397	35
220254	미니	응 성능제한 계속 걸어봐 ㅋㅋㅋㅋㅋㅋ [13]	Aimer	22.02.04	2391	35
220253	미니	하...삼성도 투자 한다니까요? [26]	비둘기야먹자	21.12.21	2049	35
220252	미니	힌지에는 삼성 로고가 더 어울린다고 생각하는 이유 [16]	Thomasp5675	21.12.08	2277	35
220251	미니	뉴비회원의 책상샷 [29]	히타기새	21.11.16	1395	35
220250	미니	블라) KT 실수한 직원 예상 대처방안 [5]	여가어딥미코	21.10.26	1850	35
220249	미니	사용할수록 절망만 안겨주는 s21울트라 [15]	rollin	21.09.27	2237	35
220248	미니	1등 2등이 서로 닮아가는 모습이 보기 좋숩니다 [11]	도저히못참겠다	21.09.26	1626	35

👨‍👩‍👧‍👦미코🌕

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

확장 변수

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정