미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1471
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	113744	13
핫글	미니	정품 AR필름 정말 좋아요 [13]	쌍피ㄷㄷ	12:14	590	6
핫글	미니	케이스 없이 맨 폰으로 쓰시는 분 계신지요? [15]	익명	24.04.30	646	6
핫글	미니	삼성인터넷 담당자 답변 [1]	펄럭펄럭	24.04.30	951	5
165590	미니	본가에 왔다가 스무살때 쓰던 기기박스좀 버리라해서 (사진 有) [9]	flair	22.07.10	1001	6
165589	미니	근데 갤럭시 사용중 충전속도 아작나는거 패치된 느낌이네요 [1]	′Ultra′	22.07.10	632	1
165588	미니	아이패드 프로 키보드 딜리트 버튼	dkdkdkdkzps	22.07.10	284	0
165587	미니	일요일 오전의 틀린 그림 찾기 [3]	GLaD	22.07.10	225	1
165586	미니	빙우주가 스냅드래곤 8 gen2를 왜이리 찬양할까요. [9]	다람쥐	22.07.10	1338	1
165585	미니	픽셀 버즈 프로 공식 렌더링 [6]	다람쥐	22.07.10	896	4
165584	미니	갤럭시 기기들의 전반적인 셔터렉 문제제기글이 많긴 많네요	GalaxyBudsSeries	22.07.10	506	0
165583	미니	갤럭시 ExpertRAW 관련 추가 공지 [5]	AquStar	22.07.10	1007	5
165582	미니	움직이는 물체 못찍는걸 보면 [3]	윤이	22.07.10	671	0
165581	미니	저는 24mm가 좋습니다 [5]	Elsanna	22.07.10	593	3
165580	미니	광축 틀어짐 자가 보정하는 경우도 있나보군요;; [17]	흡혈귀왕	22.07.10	1378	2
165579	미니	개인적인 갤럭시 카메라 최대문제는 [11]	Elsanna	22.07.10	1104	5
165578	미니	GN3 크롭 테스트 [2]	경전철(이엿던것)	22.07.10	614	0
165577	미니	갤럭시에 울트라 라인업 어떻게 생각하시나요?? [42]	비둘기야먹자	22.07.10	791	0
165576	미니	셔터렉은 근데 어쩔수없을거같네요. [12]	흡혈귀왕	22.07.10	898	2
165575	미니	블라인드 게시물	익명	22.07.10	1267	19
165574	미니	기술의 상징 골드스타 [11]	하늘목장	22.07.10	1161	5
165573	미니	내년 S23 시리즈 AP는 퀄콤 통일이니 남은건... [4]	흡혈귀왕	22.07.10	1032	0
165572	미니	각잡고 찍으면 갤럭시 사진 괜찮지 하고 자위하는거도 한계에요 [13]	′Ultra′	22.07.10	1779	32
165571	미니	이 제품 15V 2A 충전기에 물려도 상관 없을까요? [7]	????	22.07.09	443	0
165570	미니	델 인스피론 5515 팬 소음 완화 방법 [1]	Hahn	22.07.09	1223	0
165569	미니	강아지 글은 셔터스피드에 대한 이해 부족으로 보이네요. [35]	당필근	22.07.09	1175	1
165568	미니	장난감으로 갤럭시S10e 괜찮나요? [5]	트로피카	22.07.09	639	0
165567	미니	맘에드는 애플워치 밴드 여분이 하나 더있어요. [5]	히타기새	22.07.09	384	1
165566	미니	[란즈크] 갤럭시 S23 시리즈 모두 퀄컴 스냅 드래곤 탑재 [14]	우주안녕	22.07.09	1471	1

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정