미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1491
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	116648	13
핫글	미니	아이패드가 컴퓨터 드립을 치려면 [16]	흡혈귀왕	24.06.28	1317	16
핫글	미니	생전 고인의 개쩌는 모습 보고가시겠습니다 [11]	오뤼너굴위	24.06.28	1776	15
핫글	미니	ONE UI Watch 6 BETA 후기 [6]	늅늅	10:57	423	6
204611	미니	엔비디아는 도대체 업뎃을 어떻기 하는건지... [2]	qazsdf	19.03.27	205	0
204610	미니	S10 지문인식 속도 개선 영상 [4]	다잊어야해욥	19.03.27	465	0
204609	미니	버즈 왔네요. 간략 비교기 +폼팁 [14]	꼬꼬팜	19.03.27	494	0
204608	미니	삼성 무선충전은 갤11때 w좀 오르겠죠? [4]	그럴리가	19.03.27	162	0
204607	미니	블랙버즈 도착했습니다. [11]	ki-hun	19.03.27	317	0
204606	미니	해외 구매 삼성폰 국내 서비스 센터에서 수리 가능? [9]	LG알바	19.03.27	2888	0
204605	미니	외장 하드 사용한 지 5년 다 되어가는데 [8]	Havokrush	19.03.27	162	0
204604	미니	갩텐 지문 등록할 때 꾹꾹 눌러서하니까 [5]	김끃	19.03.27	305	0
204603	미니	키보드 대세는 리니어박백이죠 [2]	난민	19.03.27	283	0
204602	미니	몽아재 : 노트 10은 카메라 센서 크기 늘릴 가능성이 높습니다 [17]	다잊어야해욥	19.03.27	391	0
204601	미니	야간모드 삼숭브라우저 시인성 똥구리네요; [2]	난민	19.03.27	224	0
204600	미니	탭S5e나 8인치 펜 탭A나 상당히 이례적이지 않나요? [6]	Eidio	19.03.27	295	0
204599	미니	사실 삼성도 미리 준비하고 있던거 아닐까요 [3]	[성공]함께크는성장	19.03.27	323	0
204598	미니	일단 탭s 라인은 무조건 플래그십 넣어야.... [7]	[성공]함께크는성장	19.03.27	204	0
204597	미니	미니5의 단점은 2개 정도 [4]	Helix	19.03.27	261	0
204596	미니	덱스 되는 10인치 이하 태블릿... [3]	[성공]함께크는성장	19.03.27	232	0
204595	미니	aod 버전이 몇인가요? [3]	TFOA	19.03.27	260	0
204594	미니	파이는 확실히 문제가 있네요 [4]	ChiangMai	19.03.27	282	0
204593	미니	동생한테 탭스투 빌려주고 나서 허전한지라 태블릿 하나 들이고 싶은데 [17]	Havokrush	19.03.27	218	0
204592	미니	십오짐 얼굴인식은 3D 인식하나요? [2]	코드명다빈치	19.03.27	217	0
204591	미니	플웨즈 갤텐플 카메라 리뷰를 보니...아아.. [8]	놋구놋구	19.03.27	433	0
204590	미니	올해 탭S5 나오나요? [3]	갤텐을쓰는겁니다	19.03.27	255	0
204589	미니	노트북 PEN S 는 불량이슈 있나요? [15]	구골플렉스	19.03.27	261	0
204588	미니	갤럭시 버즈로 디스코드 안되나요? [1]	향기	19.03.27	11183	0
204587	미니	미코 분들은 프로모드 카메라 찍을 때 어떻게 쓰시나요 [4]	Eidio	19.03.27	163	0

👩🏼‍💻미코🌞

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정