미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117745	13
핫글	미니	폴드쓰면서 살짝 짜친다고 느낄때 [15]	GalaxyZFold5	24.08.05	1409	18
핫글	미니	iOS 18 DB5 [3]	숨겨진오징어	03:00	741	10
핫글	미니	SD8G4 긱벤치에 대한 말들 [9]	좌지우건	24.08.05	1030	7
203460	미니	아이폰 15프로맥스 리뷰들 몇개 본 후기입니다 [7]	댕밤	23.09.19	1119	8
203459	미니	잡담: 애플 A17 Pro SPEC2017 벤치마크 점수 공개 [9]	Section31	23.09.19	941	8
203458	미니	폴드5 에코(비건) 레더 케이스 왔습니다 [7]	GalaxyZFold5	23.09.19	680	8
203457	미니	요새도 전면 베젤이 화이트인 스마트폰이 있긴 하군요 [19]	propeller	23.09.19	1082	8
203456	미니	선물받았슈	딸기가빠졌잖아	23.09.18	431	8
203455	미니	저는 폰이 비싼건 어느정도 납득 가능합니다 [6]	크나앙	23.09.18	717	8
203454	미니	오 이번 심계천하 색 괜찮네요 [3]	오레오가좋아	23.09.16	1278	8
203453	미니	폴드 차기작에서는 화면 좁 키웠으면 좋겠습니다 [10]	GalaxyZFold5	23.09.16	914	8
203452	미니	루머) 아이폰 16, 16 플러스부터 120Hz LTPO 지원? [14]	달에서사탕만드는토끼	23.09.16	2501	8
203451	미니	최근 아이폰 프로 램 보니 감회가 새롭네요 [7]	HQteam	23.09.16	1192	8
203450	미니	그런데 이번 15프맥 부담스러워 하더라고요 [10]	sourire	23.09.15	1008	8
203449	미니	개인적으로 제가 엑시노스 안 믿는 이유는 극히 단순합니다... [8]	헤페바이쎄	23.09.15	694	8
203448	미니	15프로 블루티타늄 도장까짐 얼룩 있다네요 [29]	김애용	23.09.15	2418	8
203447	미니	유니티 직원들도 이번 사태에 극심히 반대하고 있나 보네요 [4]	HSC	23.09.14	820	8
203446	미니	KT 공식대리점이랑 플라자도 차이가 있네요.. [5]	쏘고보니선임	23.09.14	834	8
203445	미니	플립이 정말 편하긴 합니다. [5]	AurA	23.09.14	780	8
203444	미니	아 망했어요 ㅠㅠ 흐어어엉.... [13]	스퀴니	23.09.13	979	8
203443	미니	유니티 엔진이 과금 구조를 변경한다네요 [12]	1q2w3e4r!	23.09.13	930	8
203442	미니	아이폰 이번 디자인 긍정적인 부분 [9]	MrGom™	23.09.13	948	8
203441	미니	개인적으로 가격 동결에 많이 놀랍니다 [10]	헤페바이쎄	23.09.13	1050	8
203440	미니	화웨이 Mate X5 폼팩터 경쟁력이... [8]	좌지우건	23.09.09	2550	8
203439	미니	사실 한국가서 실험해볼게 있는게 말이죠 [4]	SongSi	23.09.08	801	8
203438	미니	3차 베타가 실수로 배포됐었네요? [1]	OneUI2	23.09.07	975	8
203437	미니	제가 페이스아이디 학습을 체감하게 된 계기.. [8]	쏘고보니선임	23.09.07	1215	8
203436	미니	삼성 로고 디자인해봤습니다 ㅋㅋㅋ [19]	soboru	23.09.06	1627	8

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정