미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1485
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	115090	13
핫글	미니	Urging Samsung to improve its camera [11]	iceuniverse	11:00	809	10
핫글	미니	S24+는 지금까지 써본 폰중에서 가장 만족스럽네요. [16]	Gottago	13:32	784	9
핫글	미니	한국에서는 볼 수 없는 환상의 갤럭시 옵션 [16]	GLaD	05:18	1604	6
213905	미니	독서용으로 아이패드 어떤가요? [20]	아기건달_보노보노	19.06.17	5297	0
213904	미니	유튜브 밴스드 완전히 죽었나 봅니다 [16]	민초홀릭	23.04.13	5293	7
213903	미니	3D 렌더링용 데스크탑 그래픽카드 고민되네요.. [12]	새벽하늘	21.12.24	5292	0
213902	미니	카카오톡과 텔레그램 차이 정리 (부제: 최악의 메신저 카카오톡) [16]	함흥비빔냉면	22.04.22	5290	27
213901	미니	큰 결심하고 그냥 필름 없이 살기로 했습니다 [35]	한겹	22.02.22	5289	6
213900	미니	리스트 싹 훑었는데 역시나네요ㅠ one ui home.. [5]	아무노래	22.03.02	5284	13
213899	미니	iOS15 비공개 릴레이 굳이네요 ㅎㅎ [19]	사람in	21.06.08	5272	5
213898	미니	LDAC 코덱은 고해상도 음원에서만 체감가능한거죠? [13]	JamesBlake	21.07.03	5269	2
213897	미니	애플 아이폰 13 일반/프로 실물 사진 [6]	AlieNaTiZ	21.09.19	5258	5
213896	미니	삼성노트 하이퍼링크 기능 있나요? [6]	실론	20.08.22	5250	1
213895	미니	kt 데이터쉐어링 문자 수신 되나요? [5]	범죄자호날두	21.01.21	5248	0
213894	미니	확실히 아이폰이 불편하긴 하네요. [26]	실론	20.11.28	5245	6
213893	미니	폴드4 케이스 3와 호환되나요? [5]	도깨비	22.08.06	5237	2
213892	미니	[긱벤치, 인벤치 결과비교] gos의 일반앱 관여가 확실하게 의심된다. [92]	아이쿠야잇	22.03.04	5223	43
213891	미니	서피스 프로8 간단 후기 [33]	MrHS	22.01.26	5214	15
213890	미니	탭 S7 시리즈 세컨드 스크린 검은화면 해결방법 찾았습니다 [3]	유비소프트	21.01.20	5211	1
213889	미니	갤10 센서 잔상 [26]	미미미비	19.03.08	5209	0
213888	미니	올레포빅 코팅 안벗겨지게 하려면 어떻게 해야 하나요? [14]	아이폰vs갤럭시	19.04.30	5208	0
213887	미니	안드 유튜브 PIP 불편한 점 [26]	MrGom™	20.09.20	5205	0
213886	미니	과해진 아이폰 13프로 사진 간단 평가 [41]	선라이즈	21.09.22	5191	34
213885	미니	스마트폰 램 몇기가여야 만족하시나요? [14]	그럴리가	19.09.14	5187	0
213884	미니	Gos 테스트(긴글주의) [17]	나랏미	21.05.26	5181	14
213883	미니	"TSMC 보고 있나"…바이든 앞 'GAA 3나노' 뽐낸 삼성전자 [16]	시스템모니터	22.05.22	5177	5
213882	미니	가개통폰은 걸러야하나요? [19]	범죄자호날두	19.04.04	5176	0
213881	미니	유튜브 밴스드 업데이트 됐는데 새로운게 생겼네요 [17]	niotree	20.09.30	5176	0

👩🏼‍💻미코🌞

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정