미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117931	13
핫글	미니	삼성 내부적으로 큰 문제 있나요? [10]	십사프로씁니다	24.08.19	1308	22
핫글	음향	잇섭 버즈 qc 영상 보고 드는 생각 [12]	아재건달_보노뭘보노	24.08.19	1017	21
핫글	음향	잇섭 갤럭시 버즈3 프로 QC 재도전 영상 올라왔네요 [17]	스퀴니	24.08.19	1333	18
184401	미니	[단독] 명의도용 방지 ‘엠세이퍼’도 무용지물…피해 어디까지? [사이버위협]② [1]	미붕붕드링크	24.04.08	749	4
184400	미니	[정보] 크롬이나 엣지에서 유튜브 HDR 영상들 버벅일 경우의 팁 [12]	그렇군요	24.04.08	653	4
184399	미니	그런데 PC용 삼성 인터넷은 아예 없어진 건가요? [6]	MrGom™	24.04.08	787	4
184398	미니	앜 품절 [5]	MrGom™	24.04.08	474	4
184397	미니	갤럭시 핏3 주문성공 [5]	clever	24.04.08	473	4
184396	미니	XPS 진짜 창렬하기는 하네요 [6]	잇흥	24.04.07	869	4
184395	미니	키보드에 코파일럿 버튼까지 할당이 되는군요 [3]	MrGom™	24.04.07	571	4
184394	미니	윈도우에 삼놋 개방은 하는게 이득이라 생각합니다 [3]	염화은	24.04.07	473	4
184393	미니	S24U 5배 10배 좋네요 [3]	흡혈귀왕	24.04.06	777	4
184392	미니	서클투 서치 직접번역 기능 엄청 편하네요 [9]	감비아도나츠	24.04.06	1071	4
184391	미니	폴드 오우너는 선거 가실때 실물 신분증 챙기시는게 좋겠네요 [8]	베이어	24.04.06	1209	4
184390	미니	삼성월렛으로 청소년 선불카드 기능 [7]	펄럭펄럭	24.04.05	710	4
184389	미니	S21랑 작별할 예정이여서 쓰는 엑시2100 억까	난반대일새	24.04.05	482	4
184388	미니	사실 전용칩이라 해서 크게 기대하기 어려운 건 사실이죠 [11]	미코한량	24.04.05	696	4
184387	미니	G16 환불했습니다(환불 완료돼서 다시 올림) [11]	Magyarország	24.04.05	746	4
184386	미니	아이폰16 시리즈, BRS 기술로 베젤 더 줄일 수도 [6]	BarryWhite	24.04.04	934	4
184385	미니	아이폰 16 시리즈 새 더미 이미지 등장 [4]	BarryWhite	24.04.04	1412	4
184384	미니	깨졌네요 [2]	후루꾸루	24.04.03	1166	4
184383	미니	하 핏3 물량 너무 적은거 아닌가요 [1]	순진미소년	24.04.03	536	4
184382	미니	핏3 구매완료 [6]	긴닉네임24643649	24.04.03	739	4
184381	미니	삼성, 갤럭시 워치에 갤럭시 타임 출시...행성 시간 정보 등 제공 [5]	BarryWhite	24.04.03	996	4
184380	미니	제24+ 원신 현재 상태 입니다.	NeoSeven	24.04.03	704	4
184379	미니	무선 충전기 케이스 [2]	엣지	24.04.02	337	4
184378	미니	gcam9.2 1x, 3x 10x줌 기본캠(hp2)비교/ 넘사벽? [7]	pietoro	24.04.02	362	4
184377	미니	락스타 업그레이드 떳네요 [7]	a1001	24.04.02	887	4

👩🏼‍💻미코☀️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정