미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1473
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114177	13
핫글	미니	직구 규제 오피셜: 관련부처마다 말이 다름 [14]	SM-G986N	24.05.17	647	12
핫글	미니	샀읍니다 [6]	강약중강약	24.05.17	448	10
핫글	미니	직구 제한 정리 [7]	룬룬	24.05.17	1014	10
212849	미니	업계 사람들도 잘 모르는게 파운드리 굴러가는거예요 [35]	폴드투를쓰는겁니다	21.07.28	1422	45
212848	미니	삼전 되게 없어보임... [38]	RISCVCC	20.12.08	2018	45
212847	미니	아이폰 알약디자인 장점.fact [15]	노태문	22.09.09	3627	45
212846	미니	카카오는 it기업이 아니라 공모쪼개기 한탕 세력이 본업입니다 [12]	Ap좋은놈	22.04.12	2699	45
212845	미니	굿락팀 재밌네요 ㅋㅋㅋ [17]	두유	22.09.05	2519	45
212844	미니	IceUniverse 미코 정식회원 환영식 [7]	LG산흑우	21.07.01	1788	45
212843	미니	10대의 식견을 무시하는 의견들이 보이네요 [23]	크나앙	22.10.22	2079	45
212842	미니	저는 솔직히 지금 유튜버들 정신차려야 한다고 생각합니다 [26]	[GalaxyS21+]늙은이	21.08.13	2048	45
212841	미니	[후기] M1에어 최후의 결단과 Garosugil의 대응 [30]	Taek	21.09.23	5020	45
212840	미니	삼성 가격통수는 중소기업보다 못한 저질수준이네요 [8]	가시멜로관	21.04.10	1229	44
212839	미니	펑 [65]	클랩어게인	21.03.30	2882	44
212838	미니	추석 선물로 아버지 폰 바꿔드렸습니다 [17]	아이폰13프로	22.09.09	1288	44
212837	미니	스냅드래곤888이 발열이 심한 이유는 단 하나뿐입니다. [31]	나랏미	21.01.11	1813	44
212836	미니	S24 보고 왔는데 혁신도 없고 발전도 없네요. [27]	보거	24.01.19	2565	44
212835	미니	폴드 플립은 유독 오지랖이 심한 제품 같습니다. [36]	만두는호빵이다.	21.08.21	1913	44
212834	미니	아이폰 쓰다 보면 알게 되는 모순 [7]	Kanata	22.05.05	2838	44
212833	미니	태블릿 화면 크기 비교 [21]	sands	20.08.11	6524	44
212832	미니	근데 S23 "FE" 같은걸 누가 사나요? [37]	하늘목장	23.12.13	1895	44
212831	미니	내일 드디어 효도하러 갑니다 [11]	[성공]함께크는성장	22.07.22	1384	44
212830	미니	삼성과 애플은 라이벌입니다 인정하세요 [8]	갠냑시	24.01.22	2077	44
212829	미니	애플공룡둘리 [29]	한국과맞지않은애플	20.11.26	3413	44
212828	미니	직접 만든 갤럭시 폴드 광고입니다 [40]	하이프라이즈	20.05.30	1300	44
212827	미니	S22U로 드리프트 찍어봤습니다. [22]	괴짜	22.03.29	1575	43
212826	미니	사실 계약 틀어졌다고 계약 넣은 기업 뒷담은 좀... [11]	CaffeineJuice	21.08.15	1533	43
212825	미니	갤럭시 탭 S8 울트라 진짜 하나도 기대가 안되네요 [21]	Memeko	22.02.09	4499	43

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정