미니 저는 울트라 엑시 넣어도 됩니다.

nicksuh
조회 수 1475
2024.04.17. 21:54

25 울트라에 엑시 넣고

lpddr5x 새로나온거 넣고 램 32기가 넣고

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

		7
								
1등갤럭시S23
									2024.04.17. 22:00									

					[갤럭시S23]님의 댓글을 신고합니다.
					취소
					신고
					
2등BarryWhite
									2024.04.17. 22:10									

					[BarryWhite]님의 댓글을 신고합니다.
					취소
					신고
					
3등Eomjunsik
									2024.04.17. 23:29									
성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
Pongdang
									2024.04.18. 08:34									

					[Pongdang]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
									2024.04.18. 08:51									
로컬 LLM은 상당히 힘들겁니다
30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요
괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

					[sourire]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이nicksuh
										 sourire 님께
				
									2024.04.18. 17:25									
애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

					[nicksuh]님의 댓글을 신고합니다.
					취소
					신고
					
sourire
										 nicksuh 님께
				
									2024.04.18. 17:53									
램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.
 
스냅드래곤 gen3의 대역은
16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s
 
M2는
64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s
이다보니까요
물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

					[sourire]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114240	13
핫글	미니	전 기변병이 치료된 게 [24]	Alternative	24.05.20	762	12
핫글	미니	탭 A9+ 한 대 더 구입했습니다. [4]	딸기맛치킨	24.05.20	393	7
핫글	미니	새로나온 서피스 랩탑 넘 이쁘네요 ㄷㄷㄷ [4]	maMeong	06:14	596	6
208301	미니	젠하이저, 코드리스 이어폰 ‘모멘텀 트루 와이어리스' 출시 [1]	BarryWhite	18.12.11	152	0
208300	미니	현기차, 내년 신차 인공지능 스피커 카카오미니 기술 탑재 [2]	BarryWhite	18.12.30	152	0
208299	미니	갤8/노트8 파이베타 빌드이려나요 [6]	Chrop	19.01.03	152	0
208298	미니	에이서, AMD 프로세서 탑재한 크롬북 315 발표	BarryWhite	19.01.07	152	0
208297	미니	엔비디아 2018 4분기 실적 22억 달러, 예상보다 크게 하락 [1]	BarryWhite	19.01.29	152	0
208296	미니	램차별 없으니 맘놓고 128기가 가도되겠네요 [1]	존버합니다	19.02.21	152	0
208295	미니	현자타임... 폴더블 사야할 이유... 작성중 [7]	숲속의참치	19.02.27	152	0
208294	미니	노트8 파이 저만 맘에 안듭니까? ㅠㅠ [4]	GENERATION	19.02.28	152	0
208293	미니	기기 수령하고나니 생각나는게... [7]	Carpediem	19.03.02	152	0
208292	미니	만약 3.5잭을 유지한 채 하단베젤을 절대 줄일 수 없다면 [1]	귀주대첩	19.03.02	152	0
208291	미니	지마켓 택배가 움직이기 시작했습니다~ [4]	쿼드쿼드	19.03.03	152	0
208290	미니	LG전자, 5G폰 3월 출시 무산...퀄컴, 과거칩 호환거부 [4]	숲속의참치	19.03.04	152	0
208289	미니	7엣지 보상판매라... [2]	한큐	19.03.04	152	0
208288	미니	SKT 5G 요금제 인가 신청 [1]	숲속의참치	19.03.04	152	0
208287	미니	갤버즈는 다음 주는 되어야 받을 것 같습니다 [2]	stcoff	19.03.05	152	0
208286	미니	오전에 가서 011번호 바꾸고 오후 3시간동안 설명충 했읍니다 [3]	숲속의참치	19.03.09	152	0
208285	미니	5G 출시 준비하는걸 보니 마음이 설레요 [6]	숲속의참치	19.03.19	152	0
208284	미니	ㅋㅋㅋㅋㅋ 마 진 조 아 [1]	Helix	19.03.20	152	0
208283	미니	5G SA 모드 제대로 되려면 [3]	존버합니다	19.03.23	152	0
208282	미니	내년에는 12기가램이 플러스모델에 전량탑재될려나요? [4]	우주정력황제갤럭시엠	19.03.29	152	0
208281	미니	십오짐 언제부터 팔아여 동네 티월드에서 [3]	슈피리어	19.04.03	152	0
208280	미니	에어팟 2세대로 갈아탈 필요 있을까요 [3]	아이폰vs갤럭시	19.04.04	152	0
208279	미니	센드애니웨어 바뀌어서 살짝 빡쳤긴했는데	AGRS	19.04.10	152	0
208278	미니	시넷보다 훨씬 보기좋은 워싱턴포스트 갤럭시폴드 핸즈온	범죄자호날두	19.04.15	152	0
208277	미니	폭스콘 궈타이밍(테리궈) 회장, 대만 총통 출마 [1]	트라이스타	19.04.17	152	0

👩🏼‍💻미코🌿

미니 저는 울트라 엑시 넣어도 됩니다.

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정