미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117747	13
핫글	미니	삿슈 폴드6 [1]	Minny	16:51	307	12
핫글	미니	iOS 18 DB5 [3]	숨겨진오징어	03:00	840	10
핫글	미니	미출시 기기 3형제 [8]	Seol	14:28	573	9
203471	미니	아이폰 의외로 불편한점 [13]	함흥비빔냉면	22.01.03	1368	1
203470	미니	아!!!!!!! 저 태세전환좀 하겠습니다....ㅠ [33]	흡혈귀왕	21.11.11	1368	6
203469	미니	s펜 갓 기능은 이거죠 [4]	Aix843	21.09.28	1368	5
203468	미니	z플립 엣지패널 생겼습니다 [11]	폴드엣지	20.08.24	1368	1
203467	미니	버즈라이브 저만 엄청 끊기나요? [13]	1200DMIPS	20.08.10	1368	0
203466	미니	LG 벨벳 고속충전 분석..jpg [1]	스퀴니	20.05.22	1368	7
203465	미니	AS는 삼성임을 오늘도 다시 한 번 새깁니다 [4]	[성공]함께크는성장	24.06.15	1367	19
203464	미니	(수정)S24+ 스피커 wavlet으로 만졌더니 좀 괜찮네요(기본 음장 전부 off) [30]	하제	24.02.02	1367	5
203463	미니	이게 KT의 현주솝니다 3G가 잡힙니다 [6]	갠냑시	24.01.08	1367	0
203462	미니	원신 불칸 , opengl 초간단 테스트 [6]	하와이조아	23.09.24	1367	4
203461	미니	해외 유력 팁스터발 S23 펌웨어 소식.. [13]	aleji	23.06.13	1367	2
203460	미니	LG 롤러블 한편으로는 뭔가 짠하네요 [12]	두꺼비감자칩	22.08.21	1367	17
203459	미니	어제자 노사장님 동정 [11]	이응이응	22.08.06	1367	8
203458	미니	처음 유니콘프로 나올때 사이트 우회가능하다길래	긴닉네임24643649	22.06.07	1367	2
203457	미니	개인적으로 번인은 케바케라 느낀 게 [2]	Alternative	22.05.21	1367	1
203456	미니	소니 가고 구글이..? [6]	S.R	22.04.30	1367	1
203455	미니	혹시 자급제 어떻게 구매하세요? [25]	단월령주	22.04.25	1367	4
203454	미니	pd 충전기 초고속이 계속 풀리네요 [13]	감자	22.03.12	1367	0
203453	미니	갤럭시 S22 시리즈 고화질 렌더링 [5]	Railgun	22.01.26	1367	7
203452	미니	한국형 IC카드 표준 방식인 KLSC가 완성됐군요. [15]	요들총각	21.11.26	1367	6
203451	미니	흐음 AMD의 삼성파운드리 수주 기사... [16]	흡혈귀왕	21.11.10	1367	13
203450	미니	국산노트북 가성비는 정말.... [9]	천서진	21.11.01	1367	5
203449	미니	폴드4/플립4 루머 [9]	애쁠마시따	21.10.11	1367	3
203448	미니	쿠팡 구매자들은 사전예약 보상 예약 번호 어떻게 아나요?? [5]	제프	21.08.23	1367	1
203447	미니	쿠팡이 문제라고 생각합니다. [5]	prodigy	21.06.11	1367	9

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정