미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1473
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114136	13
핫글	미니	오목교 전자상가발 직구 사태 관련 취재 종합 [10]	달에서사탕만드는토끼	24.05.16	1219	20
핫글	미니	삼성은 참 이게 문제입니다. [28]	peekaboob	24.05.16	1324	14
핫글	미니	S24+ 업데이트 떴습니다. [3]	NeoSeven	24.05.16	720	8
206806	미니	모두가 s23 인증글을 올릴때.. [6]	날개파닭	23.02.07	1120	13
206805	미니	아래 S22U vs 아이퐁13 프맥 야간 비디오 보니깐 [15]	흡혈귀왕	22.02.15	1371	13
206804	미니	2020 vs 2021 [20]	오토카모	21.07.01	1272	13
206803	미니	S20 FE 구매했습니다. [12]	하렌쿠우	20.10.28	647	13
206802	미니	GOS가 단순 성능제어앱이 아닐지도 모릅니다 [14]	올챙떡국	22.03.02	1639	13
206801	미니	iPad Air, 출고가 77만 9천원부터 시작 [2]	프로입털러	22.03.09	1017	13
206800	미니	연휴를 마무리하는 연휴폰카 6컷 📷 [3]	개구리	24.02.13	445	13
206799	미니	일단 전 뭐가 됬든 펀치홀 보단 낫다고봅니다. [11]	흡혈귀왕	21.08.12	517	13
206798	미니	1200만화소 / 1200만(1억비닝) / 순수샷 / 구글캠 각 기종 비교 [4]	pietoro	22.10.14	531	13
206797	미니	오늘자 아이폰14프맥 인천 아라폭포.jpg [8]	품귀문란	23.10.02	855	13
206796	미니	갤럭시S23U로 길고양이 찰칵 [3]	Stellist	23.10.05	576	13
206795	미니	s21 절전모드 실험결과입니다. 재밌네요 [6]	아무노래	21.01.31	2452	13
206794	미니	폰알못 친구 s21로 바꿨읍니다 [14]	비둘기야먹자	21.08.07	1002	13
206793	미니	픽셀이 똥인지 된장인지 제가 먹어보겠읍니다... [3]	구에무울	21.07.13	692	13
206792	미니	내추럴 너모이쁘네용 ㅎㅎㅎ [15]	너구리미니	23.10.13	756	13
206791	미니	애플페이 국내상륙! [15]	qazsdf	21.04.01	1186	13
206790	미니	삼성이 일본에서 공들인 티가 좀 나나 봅니다 [17]	숨겨진오징어	24.02.22	1941	13
206789	미니	갤럭시 퀵쉐어 콘테스트 당선작 근황 [22]	판다다판다	22.11.23	1422	13
206788	미니	애플 매장 전시 기기 국룰 [10]	Hoshizora	21.01.06	1133	13
206787	미니	내일 어머니 핸드폰을 바꿔드리는 날 입니다. [2]	갠냑시	23.08.23	830	13
206786	미니	어느 누가 실수로 픽셀 7프로 프로토타입을 구입했군요.. ㅋㅋㅋㅋ [15]	Androboy	22.06.02	2904	13
206785	미니	삼성 진짜 이 디자인 쭉 유지했으면 좋겠네요 [19]	디즈니	21.08.20	1263	13
206784	미니	아이폰 갤럭시 쓰면서 이해 안가는점.. [12]	쏘고보니선임	22.12.30	1530	13
206783	미니	비전 프로 사용자들의 운명.jpg [3]	ZAMIBOYAK	24.01.23	905	13
206782	미니	엔비디아, 삼성, MS 등을 해킹한 해커 일부가 잡혔다고 합니다 [16]	경전철(이엿던것)	22.03.26	1375	13

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정