미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1473
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114174	13
핫글	미니	직구 제한 정리 [7]	룬룬	17:24	888	10
핫글	미니	샀읍니다 [6]	강약중강약	20:01	336	9
핫글	미니	란즈크) 플립6 UTG두꺼워지는건 애플 대비때문? [5]	달에서사탕만드는토끼	18:31	740	6
213698	미니	갤럭시 버즈로 디스코드 안되나요? [1]	향기	19.03.27	11138	0
213697	미니	일본에서도 삼성 안빼더라구요? [20]	케인즈옹	22.05.26	11072	3
213696	공지	코드리스 관련 글은 음향 분류로 작성해주십시오. [12]	admin	19.10.29	10948	5
213695	미니	트위치 PIP크기조절 막혔나요? [19]	Aimer	20.06.12	10749	0
213694	미니	버즈 프로 차폐력 상승 방법.gif [15]	Flex는패가망신	21.01.17	10721	11
213693	미니	M1 아이패드 프로 12.9 유저인데 도저히 못 참겠습니다 [11]	지나가던호갱	22.03.10	10703	2
213692	미니	와 S21 GOS 없앴더니 다른폰 되네요 [21]	배붕이	21.03.20	10699	10
213691	미니	갤럭시 워치4 쓰시는 분들 스트레스 측정 잘 되시나요? [9]	JamesBlake	21.08.30	10692	1
213690	미니	갤럭시핏 3는 소식없을까요 [7]	flair	21.03.16	10692	0
213689	미니	폴드 추천 초고화질 배경화면 160장 [2]	슈갤럼	19.10.25	10678	1
213688	미니	갤탭으로 코딩 가능할까요? [11]	여가어딥미코	20.08.16	10670	0
213687	미니	갤럭시 버즈시리즈 사용하시는분들 AAC코덱 써보세요. [28]	별빛정원	21.01.08	10655	0
213686	미니	요새 안드로이드 pdf 리더 갑이 뭔가요? [8]	네이버	19.05.26	10501	0
213685	미니	스냅드래곤s10 vs 엑시노스s10 카메라 차이 .feat 아난드텍 [36]	흥해서막판	19.03.30	10484	12
213684	미니	개인적으로 사용해본 원격데스크탑 수단들 간단평 [6]	RuBisCO	20.08.16	10471	5
213683	미니	혹시 플레이 스토어에서 사운드 어시스턴트는 이제 받을수 없게 된건가요? [24]	씨코	21.06.07	10361	1
213682	미니	말 많은 지문인식 정말로 해봤습니다 [41]	웅비	19.10.16	10289	14
213681	미니	요즘 기기들 무선 충전시에 발생하는 소음은 '코일 와인'이라고 합니다. [6]	Memeko	20.04.18	10269	7
213680	미니	갤럭시 시리즈 Package Disabler Pro 이용한 GOS 해제하기 [6]	배붕이	21.09.12	10218	22
213679	미니	갤탭S7/S7+ 아이패드와 크기비교 [16]	점장	20.08.17	10195	6
213678	미니	아이폰13 가변주사율 미쳤네요 ㄷㄷ [31]	구보	21.09.15	10178	13
213677	미니	병사들이 군대에서 쓰는 스마트폰에 필수로 설치되는 어플 [17]	사무관	19.01.20	10125	0
213676	미니	얼음냥이 : 삼성폰에서 이 이미지를 배경화면으로 하지 마세요 [5]	스퀴니	20.05.31	10032	1
213675	미니	삼성 망하겠네요 [9]	응애나아기미붕이	21.12.21	10007	25
213674	미니	텔레그램 캐시경로가 어떻게 되나요? [4]	swing546	22.03.26	9999	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정