미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 920
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	113651	13
핫글	미니	4월 마지막 주말의 폰카 (갤아 8선) 📷 [2]	개구리	00:34	278	9
핫글	미니	샀습니다 [14]	나랏미	00:21	548	8
핫글	미니	갤럭시 날씨앱 노을도 졌었군요 [2]	모코코	24.04.27	729	5
202853	미니	갤럭시 폰 후면 무선충전 쓸때마다 느끼는건데 [7]	존버합니다	23.11.06	741	5
202852	미니	삼성서비스센터는 까면 안되겠네요 ㅠㅠ [16]	품귀문란	23.11.06	1840	43
202851	미니	오늘도 한컴이 마음에 안 들어졌습니다	[성공]함께크는성장	23.11.06	295	4
202850	미니	43인치 8k도 나올까요? [1]	닉넴이	23.11.06	281	2
202849	미니	23u 6.0정식 언제나올까요 [10]	Ginza	23.11.06	679	1
202848	미니	과연 23 Fe는 국내판은 안드 14로 출시할까 궁금해지네요 [12]	리사수믿어줘	23.11.06	548	0
202847	미니	아 윈도우 11로 업데이트 했는데...... 😫 [6]	MrGom™	23.11.06	751	1
202846	미니	S23 FE 국내판은 엑시네요. [6]	노다	23.11.06	905	3
202845	미니	국내에 샤오미 레드미노트13 프로 가 출시되는군요 [10]	스퀴니	23.11.06	873	2
202844	음향	에어팟 2세대 멀티페어링 불량일까요? [2]	앵그리컨슈머	23.11.06	207	0
202843	미니	램 체감 어느정도 되나요 [4]	SOCOM	23.11.06	609	0
202842	미니	샤오미 HyperOS 1.0 글로벌 배포 계획 [4]	AlieNaTiZ	23.11.06	733	2
202841	미니	외장 SSD 속도가 안나오니 답답하네요 [6]	딸기맛치킨	23.11.06	360	0
202840	미니	[단독] 삼성 5000만 화소 2년만에 출시…구글 폰에 탑재 [11]	달에서사탕만드는토끼	23.11.06	1362	1
202839	미니	글고보니 베타 1차 이후 없어진거 [5]	늅늅	23.11.06	656	0
202838	미니	스템덱은 성능을 위해 이제 램타 조이기까지 하고 있네요 [11]	딸기맛치킨	23.11.06	1185	2
202837	미니	긱벤치로 나온 스펙이랑 실기기랑 다른 적이 있었나요? [5]	애애앵	23.11.06	324	0
202836	미니	오늘 애플 티머니 루머는 어떻게 된건가요? [13]	마루트	23.11.06	1506	1
202835	미니	15프맥의 5배줌 렌즈는 계륵이네요. [14]	ZAMIBOYAK	23.11.06	1363	8
202834	미니	S23 기본모델 배터리 타임 이게 맞나요?? [4]	빅코	23.11.06	949	3
202833	미니	24울트라 내수향 긱벤치 노출 [4]	카밀리아	23.11.06	1501	4
202832	미니	삼성, 애플이 샤오미에게 배워야 할 점 [6]	Stellist	23.11.06	1602	11
202831	미니	그런데 24시리즈 국내판 긱벤치 뜬게 몇개정도인가요? [6]	댕밤	23.11.06	923	5
202830	미니	잡담: 디멘시티 9300 GPU 컴퓨트벤치 점수 [6]	Section31	23.11.06	650	1
202829	미니	8기가램 모델 저는 이렇게 추측해봅니다. [10]	댕밤	23.11.06	1048	4

👩🏼‍💻미코🌿

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정