미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117879	13
핫글	미니	애플페이 관련 왜 카드사가 욕먹는지 이해가 안갑니다 [12]	갠냑시	24.08.15	1393	28
핫글	미니	S25 Ultra [12]	iceuniverse	24.08.15	1656	18
핫글	미니	로그 엘라이X 괜찮군요 [10]	쿼드쿼드	24.08.15	626	6
179280	미니	One UI 3 미디어 알림 지우는 게 굉장히 어색하네요.	Tac	20.12.21	292	0
179279	미니	안드os가요 [2]	긴닉네임2002250504	20.12.22	292	0
179278	미니	Z 플립3는 하반기에 나오려나요? [4]	Thomasp5675	20.12.24	292	0
179277	미니	삼성 광고중에 마음에 드는거 [1]	Thomasp5675	20.12.30	292	2
179276	미니	눈오는 (shot by note10 +) [3]	씨샾	21.01.12	292	7
179275	미니	S21U 컬러랑 스토리지 질문이요! [3]	류아린	21.01.13	292	0
179274	미니	그러고보니 X1의 경우 A78 기반에 확장된 IP라던데... [3]	흡혈귀왕	21.01.15	292	0
179273	미니	갤20울트라 vs 걍갤21 미코선생님들 추천좀 [6]	찰랑찰랑	21.01.15	292	0
179272	미니	야간 비디오 구리면 여차하면 그냥 서드파티앱 쓰려고합니다. [1]	흡혈귀왕	21.01.16	292	0
179271	미니	당장 금요일부터 본격적으로 고객용 기기가 풀릴텐데 [2]	Ellvi	21.01.19	292	1
179270	미니	수율 문제면 초기물량 복불복인가요;; [1]	응애나아기미붕이	21.01.19	292	0
179269	미니	픽셀4xl) 사진 몇 장 찍었습니다. (데이터주의) [2]	루리루리	21.01.22	292	4
179268	미니	미래의 스마트폰 [1]	Thomasp5675	21.01.22	292	0
179267	미니	우횻www 쿠팡 배송 스따또 [3]	로아	21.01.28	292	3
179266	미니	다시 긱벤치5 돌려봤습니다! [3]	흡혈귀왕	21.01.30	292	1
179265	미니	픽셀 5a 가 나오려는지 바로 픽셀6으로 가는건지.. [4]	Androboy	21.02.05	292	0
179264	미니	n20u로 찍은 냥이	시키에이키	21.02.13	292	7
179263	미니	oneui3.0오류인지 무선덱스 켰다 꺼니까 아이콘 죄다 뜨네요 [3]	몰로하지	21.02.14	292	1
179262	미니	Z플립 5G도 3.1 먹었나요? [2]	S.LSI	21.02.19	292	0
179261	미니	S7+ 업데이트가 안뜨네요 [3]	미세먼지주의보	21.02.26	292	0
179260	미니	s21울트라 1배, 3배, 10배 ⚔ (24.69MB) [8]	halt	21.02.26	292	3
179259	미니	어시스던트 볼륨바 이동 기능 좋네요 ㅎ [1]	조르쥬	21.02.26	292	3
179258	미니	S21U vs S20 4K@30fps 야간 비디오 비교 [12]	흡혈귀왕	21.02.28	292	1
179257	미니	S21 울트라 10배 파노라마	S.LSI	21.03.16	292	2
179256	미니	뭐가 더 어그로 끌리나요 [4]	마리아테레지아	21.04.07	292	0

👩🏼‍💻미코🌧

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정