미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 920
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	113823	13
핫글	공지	애플 이벤트 미코 라이브챗(종료) [16]	BarryWhite	24.05.07	630	13
핫글	미니	하 인텔만 보면 갑갑하네요 [30]	Butzed	24.05.07	957	11
핫글	미니	근데 결국 근본적인 iPadOS의 변화는... 없었네요...... [8]	Stellist	24.05.07	416	9
201578	미니	검정색 실리콘 케이스는 뒤에 얼룩이 묻었을 때 너무 티가 난다는 부분이 단점이네요..	Mate	23.10.23	228	0
201577	미니	윈도우 화면배율 100이하로는 못하는건가욥?? [12]	비둘기야먹자	23.10.23	1219	0
201576	음향	팟 프로2 c타입 빅스 때 많이 싸지나요? [3]	마루트	23.10.23	478	0
201575	미니	아이폰15 쓰시는 분들 카메라 포커스 잘 잡히시나요? [8]	요크	23.10.22	680	0
201574	미니	드디어 넘어왔습니다 [11]	LG산흑우	23.10.22	1440	25
201573	미니	갤럭시S23 화이트 정말 예쁘네요. [3]	요크	23.10.22	1303	13
	미니	x시리즈는 ai성능이 더 신기하네요 [2]	Antares	23.10.22	920	4
201571	음향	아앙 보스 qc울트라 지름요 [3]	품귀문란	23.10.22	629	5
201570	미니	스냅드래곤 X 시리즈 결국 성능 이변은 없나보네요.. [19]	흡혈귀왕	23.10.22	1146	1
201569	미니	요거 삭제하는 방법이 있나유 [2]	회기동길냥이	23.10.22	605	0
201568	미니	디시펌: 텐서 G3 전성비 세부자료 조만간 나올 예정 [1]	Section31	23.10.22	572	0
201567	미니	메인폰, 서브폰, 태블릿 구성 [2]	와르르혁명	23.10.22	639	2
201566	미니	모토로라 엣지40 체감 성능이 어쩐지 빠르다 싶었는데 [5]	IRIVER	23.10.22	1181	6
201565	미니	마크 거먼: 이달 말에 새로운 Mac 발표될 예정 [3]	달에서사탕만드는토끼	23.10.22	538	0
201564	미니	잡담: 모 일본인 유저가 그린 샤오미 14 프로의 상상도 [4]	Section31	23.10.22	773	0
201563	미니	S23FE 스냅판도 점수 잘나오네요? [16]	범퀴	23.10.22	1092	0
201562	미니	잡담: (루머) 스냅드래곤 X 시리즈 첫번째 칩 스펙 [5]	Section31	23.10.22	669	1
201561	미니	잡담: 대충 스냅드래곤 8CX/X 시리즈의 성능 포지션 [5]	Section31	23.10.22	754	3
201560	미니	S23FE가 확실히 무겁네요 [3]	범퀴	23.10.22	1071	6
201559	미니	샀슈 [23]	감자	23.10.22	963	30
201558	미니	롤드컵에 등장한 원플러스 오픈 [9]	Niflheimr	23.10.22	1111	10
201557	미니	에잉.. 기사 글 퍼오기 전에 날짜 체크 해야 하는데 깜빡하네요	스퀴니	23.10.22	337	2
201556	미니	아이폰15 발열을 정말 ios 업뎃으로 잡은건가요? [19]	익명	23.10.22	1482	1
201555	미니	갤럭시 유저분들 브라우저는 어떤거 쓰시나요? [20]	언제나소년	23.10.22	1118	1
201554	미니	약 1년간 메인으로 맥 사용해보니 시스템 통합(?)마렵네요 [5]	댕밤	23.10.22	577	2

👩🏼‍💻미코🌿

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정