미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1493
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117313	13
핫글	미니	더블 스토리지가 무의미하다 느끼는 사람이 있는 건 사실인데 [6]	Niflheimr	09:45	989	24
핫글	미니	출근길 동안 버즈 3 프로 사용후기 [26]	트리키	09:50	1886	22
핫글	미니	버즈3프로 반나절 사용기 [5]	쿨나잇	15:15	714	17
5097	미니	삼성 M시리즈와 겨눌만 한 VIVO U시리즈 [16]	기기덕후	19.02.19	331	0
5096	미니	애플 상반기 발표기기 거의 확정 [9]	기기덕후	19.02.19	397	0
5095	미니	10E 10 10+는 성능을 떠나 호불호가 확실히 갈리는 게 [11]	귀주대첩	19.02.19	404	0
5094	미니	오늘자 엑시노스9820 긱벤치 결과 [9]	신규유저	19.02.19	400	0
5093	미니	노트 FE 파이 업그레이드 관련(뒷북, 찌라시) [10]	Minny	19.02.19	288	0
5092	미니	제 갤럭시s7 이 이상합니다.. [9]	라시드	19.02.19	187	0
5091	미니	펑 [13]	정치닉네임23949591	19.02.19	473	0
5090	미니	탭s4 샀습니다 [15]	올챙떡국	19.02.19	279	0
5089	미니	노트FE 빨리 써보고 싶네요 [7]	[성공]함께크는성장	19.02.19	196	0
5088	미니	퀄컴 x55 모뎀이 발표되었습니다. [3]	ARMCC	19.02.19	161	0
5087	미니	혹시나가 역시나인가 보군요. (스카이 코드리스 측정치) [8]	VentAzure	19.02.19	287	0
5086	미니	요즘 애플 qc가 개판인가 보네요 [16]	asdf	19.02.19	610	0
5085	미니	S10 ㅍㅇㅂ도 벌써나왔네요 [18]	Eastinny	19.02.19	692	0
5084	미니	솔직히 S5는 정이 들지가 않는 폰이었어요 [9]	[갤플당]Cyan	19.02.19	189	0
5083	미니	SK이노베이션-폴리플러스, 리튬금속전지 개발 협약 [1]	BarryWhite	19.02.19	120	0
5082	미니	스마트폰 디자인 중요하긴 한데... [4]	Helix	19.02.19	208	0
5081	미니	갤럭시s5 디자인 비하인드 [4]	셈숭전자	19.02.19	285	0
5080	미니	폴더블만 유출 안 되면 그거대로 박수 쳐줘야겠네요ㅋㅋ [5]	귀주대첩	19.02.19	218	0
5079	미니	거시적으로 보면 S5 디자인은 그렇게 나와서 좋았죠 [1]	귀주대첩	19.02.19	174	0
5078	미니	소니, PS VR 대변화 예고 [1]	BarryWhite	19.02.19	167	0
5077	미니	갤S5는... [2]	Helix	19.02.19	221	0
5076	미니	LG이노텍, 스마트폰용 ToF 모듈 양산	BarryWhite	19.02.19	129	0
5075	미니	전면 상태 led 사라지는 것은 어떤식으로 대체되는건가용 [8]	[배고프당]요호호	19.02.19	253	0
5074	미니	LG유플러스, 86Tbps 라우터 상용망 적용	BarryWhite	19.02.19	83	0
5073	미니	유출이 이 지경까지 온 걸 보면 S11 보안대책이 궁금해지는군요. [4]	플래그쉽GU	19.02.19	266	0

👩🏼‍💻미코🌧️

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정