미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117747	13
핫글	미니	iOS 18 DB5 [3]	숨겨진오징어	03:00	798	10
핫글	미니	삿슈 폴드6 [1]	Minny	16:51	163	9
핫글	미니	미출시 기기 3형제 [7]	Seol	14:28	458	7
203465	미니	갤팔 심트레이 사망 [6]	비온날흙비린내	19.04.28	405	0
203464	미니	다음 아이폰 가격은 [3]	[성공]함께크는성장	19.04.28	173	0
203463	미니	근데 제 십오짐은 [16]	reador...	19.04.28	192	0
203462	미니	공기청정기 삼성 꺼랑 샤오미!! [12]	dkdkdkdkzps	19.04.28	411	0
203461	미니	이런 마우스 정말로 편한가요? [8]	숲속의참치	19.04.28	296	0
203460	미니	이 세상 KT가 아니다 [1]	HDMI	19.04.28	235	0
203459	미니	그립읍니다 그 시절 [4]	비온날흙비린내	19.04.28	261	0
203458	미니	S10은 번인 어느정도 만에 올까요 [3]	아이폰vs갤럭시	19.04.28	262	0
203457	미니	소니, 역대 가장 낮은 스마트폰 판매량 기록해 [7]	비온날흙비린내	19.04.28	257	0
203456	미니	텐플 충전없이 2일간 사용 최신펌	aleji	19.04.28	196	0
203455	미니	갤팔 그냥 리니지 OS 깔까봐요 [17]	비온날흙비린내	19.04.28	354	0
203454	미니	삼성 파이가 어떤 느낌이냐면 [5]	[성공]함께크는성장	19.04.28	234	0
203453	미니	윈도우에 격리된 저장소가 어디있다고 [1]	[성공]함께크는성장	19.04.28	185	0
203452	미니	갤팔 파이가 어떠냐면요 [9]	비온날흙비린내	19.04.28	206	0
203451	미니	아니 왜 애플 따라가는지 모르겠네요 [3]	[성공]함께크는성장	19.04.28	195	0
203450	미니	근데 저 정책이 많이 불편할거 같지는 않은데요 [7]	비온날흙비린내	19.04.28	228	0
203449	미니	그래도 쌘드박스 구조가 좋은점 있읍니다 [3]	aleji	19.04.28	263	0
203448	미니	안드 Q 권한 글 천천히 읽어보니 진짜 x됐네요. [6]	비온날흙비린내	19.04.28	458	0
203447	미니	구글은 저장소 관련해서는 꾸준하게 삽질을 하네요 [1]	[성공]함께크는성장	19.04.28	160	0
203446	미니	안드 Q 저래 나와도 한두달 있으면 롤백합니다 [5]	숲속의참치	19.04.28	263	0
203445	미니	노트12 갈랬는데 [9]	[성공]함께크는성장	19.04.28	206	0
203444	미니	후 이젠 진짜 아이폰 사야겠네요 [5]	비온날흙비린내	19.04.28	321	0
203443	미니	그런데 안드로이드 Q에서 저래 나온다고 해도 걱정할 게 없는게 [6]	Havokrush	19.04.28	289	0
203442	미니	구글이 애플 닮아가는 이유	Chrop	19.04.28	160	0
203441	미니	마이크로소프트는 왜 윈도우폰으로 삽질을 해서 [4]	귀주대첩	19.04.28	179	0

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정