👩🏼‍💻미코🌞

로그인 해주세요.
📢 막고라 신설 및 추첨 이벤트

미니기기 / 음향 게시판 *스마트폰과 PC, 카메라, 스피커 등 IT 미니기기와 음향기기에 관해 교류하는 게시판입니다.

목록 핫글의 전당 쓰기
nicksuh

미니 저는 울트라 엑시 넣어도 됩니다.

  • nicksuh
  • 조회 수 1485
  • 2024.04.17. 21:54

25 울트라에 엑시 넣고 

lpddr5x 새로나온거 넣고 램 32기가 넣고 

로컬 llm 소프트웨어 최적화 시켜주면 좋겠어요.

30b 모델들 gpt3.5 훨신 넘어서는 모델들 많이 나오던대

폰에서 슝슝 돌릴수있음 좋겠네요.

15
댓글
7
Eomjunsik
3등 Eomjunsik
2024.04.17. 23:29

성능상 좀 힘들죠. Inference는 보통 메모리 병목인데 lpddr 따위로는 여전히 힘들겁니다. 

[Eomjunsik]님의 댓글을 신고합니다. 취소 신고
sourire
sourire
2024.04.18. 08:51

로컬 LLM은 상당히 힘들겁니다

30B 모델의 경우 메모리 병목 때문에 LPDDR5 정도로도 힘들어요

괜히 지금 나오는 LLM이나 추론칩들은 지난 세대인 HBM2e를 쓰는 이유이기도 하고요

[sourire]님의 댓글을 신고합니다. 취소 신고
nicksuh
글쓴이
nicksuh sourire 님께
2024.04.18. 17:25

애플맥들 lpddr5 온칩으로 달고 llm 쌩쌩 돌립니다. 30b 언더로는 버스좀 늘리면 충분히 가능해요. 삼성에서도 lpddr 베이스 llm 인퍼런스 칩 개발중이구요

[nicksuh]님의 댓글을 신고합니다. 취소 신고
sourire
sourire nicksuh 님께
2024.04.18. 17:53

램 대역폭 자체가 달라서 어떻게 될지는 모르겠습니다.

 

스냅드래곤 gen3의 대역은

16-bit 쿼드채널 LPDDR5X 4266 MHz
메모리 대역폭 : 68.3 GB/s

 

M2는

64-bit 2 채널(128-bit) LPDDR5 3,200 MHz 통합 메모리
메모리 대역폭: 102.4 GB/s, 6,400 MT/s

이다보니까요

물론 엑시노스가 2채널이라면 될 것 같습니다만 2채널 램 모바일 AP는 M시리즈 말곤 잘 못본것 같아요.

[sourire]님의 댓글을 신고합니다. 취소 신고
에디터로 글쓰기
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 공지 사이트 이용 수칙 230228 수정 file admin 18.08.04 115019 13
핫글 미니 [란즈크]갤럭시Z폴드6 슬림 울트라, 삼성 DB에 추가 신규 등록 [3] file 노다 01:16 796 6
핫글 미니 아침부터 개든든.jpg [4] updatefile 품귀문란 08:24 241 6
핫글 미니 일본 니코니코동화 접속 관련문제가 꽤나 심각하군요 [6] Eako 24.06.14 494 5
200476 미니 Z 폴드4 성능 루머 [7] file 노태문 22.08.03 1341 3
200475 미니 예상했듯이 M2 IPC 개선은 없네요. [25] 경전철(이엿던것) 22.07.10 1341 5
200474 미니 정황상 엑시2200가 스냅8 Gen1 대비 덜 뜨겁고 소비전력 착한거같네요. [16] 흡혈귀왕 22.02.11 1341 11
200473 미니 12세대 모바일 나오면 기존 노트북들 초토화되겠네요 [34] file TM.Roh 21.12.17 1341 0
200472 미니 애플은 확실히 대단하네요 [13] 한겹 21.11.02 1341 5
200471 미니 갤럭시탭S7 FE vs 미패드5 (Wifi 엔트리 모델끼리 비교) [10] Stellist 21.09.12 1341 6
200470 미니 지금 내장그래픽의 성능중 어떤놈이 탑일까요? [14] 좌상탄아홉발이상무 21.06.09 1341 0
200469 미니 버즈프로 네이버 포XX이 QNA 현황... [19] file 민초홀릭 21.01.16 1341 0
200468 미니 갤럭시 탭에서도 SD카드를 빼진 않겠죠? [9] 이라세오날 21.01.15 1341 2
200467 미니 킹갓엑시노스990 그래픽위엄.jpg [14] file 갤럭시S2 20.11.07 1341 2
200466 미니 애플스토어서 삼성페이 안되는거 실화인가요? [32] file Angry 20.10.07 1341 18
200465 미니 아이폰, 갤럭시 카메라 싸움이 의미없는 이유 [23] file Stellist 20.07.13 1341 12
200464 미니 퇴근길 G리는 버스 정류장.jpg [39] file ProjectZer0 20.06.16 1341 10
200463 미니 갤럭시북Ion은 힌지 디자인을 정말 잘 한것 같네요. [25] file Aimer 19.11.03 1341 3
200462 미니 오늘 이마트에 갤럭시탭S6 보러 다녀왔습니다. [7] file Futuristics 19.09.12 1341 0
200461 미니 잡담: 엑시노스 1480 탑재 실기기벤치 공개돼 [7] Section31 24.03.03 1340 4
200460 미니 S24 울트라 막손이 쓰기 좋은 카메라 세팅은 뭐가있을까요? [9] 벨미 24.02.09 1340 0
200459 미니 오렌지 티타늄이 진짜 실물 깡패네요 [7] file 포도맛사과쥬스 24.01.26 1340 16
200458 미니 s20fe 보다가 s23fe 보면 조금 더 S입니다 [15] file 코드명다빈치 23.12.10 1340 10
200457 미니 D9300 피크 성능에 흥분할만 하지만 [23] file gamma 23.11.07 1340 15
200456 미니 임기 얼마 안남은 냥반 물고 늘어져봐야 의미없죠... [19] 흡혈귀왕 23.05.24 1340 6
200455 미니 인텔 14세대 메테오레이크는 최대 512MB의 캐시를 탑재해 2배의 iGPU 게이밍 성능을 제공할 수 있습니다. [6] file PatGelsinger 23.04.23 1340 3
200454 미니 S23 wifi7안되는건 소프트웨어로 업데이트할 생각인걸까요? [7] Dydx 23.03.11 1340 0
200453 미니 아이폰 누끼 잠금화면... 굿락 노가다로 '갤럭시에서 가능' [1] file 엣지 23.02.19 1340 8
200452 미니 애플 AS는 진단센터의 존재가 코미디 그 자체입니다. [9] Stellist 22.11.03 1340 27
검색
목록
578579580581582583584585586587

추천 IT 소식 [1/]

스킨 기본정보

colorize02 board
studio02 (https://studio02.co.kr , studio02xe@gmail.com)
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...