미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117748	13
핫글	미니	삿슈 폴드6 [1]	Minny	16:51	316	12
핫글	미니	iOS 18 DB5 [3]	숨겨진오징어	03:00	843	10
핫글	미니	미출시 기기 3형제 [8]	Seol	14:28	577	9
203471	미니	충전기와 케이블은 정품쓰자는 주의이지만 [1]	[성공]함께크는성장	19.08.16	201	0
203470	미니	XPS 13 7390 국내에서도 판매 시작하네요. [6]	Havokrush	19.08.20	201	0
203469	미니	키보드앱 추천 받습니다 [1]	[성공]함께크는성장	19.09.03	201	0
203468	미니	내년에 놋9로 가겠지만 놋철이 잘 모셔둘 거 같습니다 [5]	[성공]함께크는성장	19.09.05	201	0
203467	미니	이번에 애플 키노트 원모어띵 있을까요? [10]	으하하핳	19.09.11	201	0
203466	미니	목소리가 걸걸한 이유 [1]	qazsdf	19.09.11	201	1
203465	미니	아참 안드넷플 테스트영상 1080찍히더라구요 [8]	바고부	19.09.11	201	0
203464	미니	그램과 펜s 고민되는데 뭐가좋을까요 [3]	존버합니다	19.09.11	201	0
203463	미니	잠긴상태에서 빅스비 [6]	송충이	19.10.01	201	0
203462	미니	콜옵 모바일 개꿀잼이네여 [1]	비온날흙비린내	19.10.02	201	0
203461	미니	노트FE 필름 뭐가 좋을까요 [2]	[성공]함께크는성장	19.10.04	201	0
203460	미니	PS4 리모트 안드로이드 지원예정 [1]	Eastinny	19.10.07	201	0
203459	미니	인텔, 데스크탑 10나노가 없다는 루머는 거짓 [3]	팝카드있으세요	19.10.15	201	0
203458	미니	유막방지 도트가 바깥으로 향한 상황에서도 S10,N10이 열리는지 확인 부탁드려요 [1]	비온날흙비린내	19.10.17	201	0
203457	미니	아이폰11 배터리 문제 있나?…iOS13 업데이트 오류 리뷰 쏟아져	aleji	19.10.26	201	0
203456	미니	액티브2 힐링쉴드 쓰시는 분 있으신가요? [4]	Track13	19.10.30	201	0
203455	미니	코드리스가 통품이 중요하긴 하죠 [8]	콜홍	19.11.01	201	1
203454	미니	샤오미 미 노트 10이랑 구형 미러리스(X-M1)이랑 비교하면 어떨까요? [3]	????	19.11.07	201	0
203453	미니	저의 첫 스마트폰(?) [2]	라테린	19.11.18	201	0
203452	미니	노트북 기준 [8]	탈퇴한회원	19.12.23	201	0
203451	미니	“애플, 올 가을에 5G 아이폰 모델 무더기 출시”	6_inch	20.01.13	201	0
203450	미니	네모닉프린터는 이해가 안가는게 [4]	팝카드있으세요	20.02.11	201	0
203449	미니	그래도 이번 한국 출시는 좋습니다 [4]	판다다판다	20.02.11	201	0
203448	미니	성능충이라 s10에서 넘어가고픕니다 [1]	라테린	20.02.12	201	0
203447	미니	노트10도 그렇고 개취로는 화이트가 젤 예뻐 보이네요 [2]	귀두재첩	20.02.12	201	0

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정