미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1475
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114240	13
핫글	미니	전 기변병이 치료된 게 [26]	Alternative	24.05.20	824	12
핫글	미니	새로나온 서피스 랩탑 넘 이쁘네요 ㄷㄷㄷ [7]	maMeong	06:14	734	7
핫글	미니	이번 서피스 역대급인데요? [14]	시엠	09:22	374	7
207093	미니	맥북 처럼 강력한 보안의 노트북 추천바랍니다 [48]	dkdkdkdkzps	24.03.20	1818	0
207092	미니	Z플립 사용 3일차 [35]	아죠씨그영웅이죠맞죠	20.02.17	1818	4
207091	미니	저는 삼성이 카메라 방향을 한번 잘못잡았다고 생각합니다. [24]	Qkooqq	23.06.13	1818	14
207090	미니	아 파이널 컷 업데이트하고 ㅂㅅ 되었습니다 [4]	지나가던호갱	22.04.25	1818	4
207089	미니	혹시 휴대폰 물에 씻으시는 분 있으신가요 [26]	릅갈통	21.08.27	1818	1
207088	미니	??? : 아 그렇게 쓰는거 아닌데 [28]	오토카모	22.12.11	1818	28
207087	미니	아이패드 필기 앱들이 굳이 안드로이드 쳐다보지는 않겠죠? [15]	[성공]함께크는성장	20.11.10	1818	0
207086	미니	폰이 왜이리 느리고 뜨겁나 했더니 [14]	민초홀릭	22.02.01	1818	0
207085	미니	홍길동 페이네요 [10]	에피	22.11.30	1817	22
207084	미니	카카오 장애 보상 신청 떴습니다. [12]	후루꾸루	22.10.19	1817	25
207083	미니	노트북 하나 샀읍니다 [22]	MrGom™	21.07.17	1817	22
207082	미니	갤럭시 Z 폴드6 '슬림형'이 울트라가 아닌 보급형이 맞군요. [21]	요트맨	24.03.19	1817	7
207081	미니	우영미 폴드3가 64만에 풀렸었다네요 ㄷㄷ [21]	여가어딥미코	22.07.27	1817	8
207080	미니	GOS 구라 해상도 관련 유튜버 답글.jpg [12]	릅갈통	22.03.21	1817	8
207079	미니	말나온김에 [11]	까만콩3개	22.06.01	1817	11
207078	미니	갤럭시 날씨앱 너무 안예쁩니다 [26]	j8j8	21.06.27	1817	10
207077	미니	갤럭시북2 는 네모네모한 디자인이네요 [3]	눈팅킹	18.09.12	1816	0
207076	미니	와 갤폴드4 가격방어 진짜 안 되네요 ㅋㅋ [14]	TempNick	23.06.16	1816	6
207075	미니	솔직히 이건 인정 못하겠습니다. [12]	몽구스	20.04.11	1816	0
207074	미니	샤오미 미14 개봉기 나왔네요 [15]	범퀴	23.11.08	1816	9
207073	미니	낫싱 폰(2) 발표 이 문장이 와닿네요 [14]	그냥페퍼	23.07.12	1816	21
207072	미니	언팩 보실 분들은 누르지 마세요 [31]	Thomasp5675	21.01.14	1816	15
207071	미니	엇?! S23 시리즈 스피커 개선 있나보네요? [23]	맛폰은디지바이스	23.01.13	1815	15
207070	미니	가난한 스마트폰은 이거죠... [43]	하늘목장	22.06.11	1815	31
207069	미니	브랜드 콜라보 목록 전체 [7]	난거북넌토끼	22.08.11	1815	4

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정