미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117747	13
핫글	미니	삿슈 폴드6 [1]	Minny	16:51	302	12
핫글	미니	iOS 18 DB5 [3]	숨겨진오징어	03:00	840	10
핫글	미니	미출시 기기 3형제 [8]	Seol	14:28	569	9
203471	미니	아 갤팔 파이 환장하겠네요 [11]	비온날흙비린내	19.04.15	232	0
203470	미니	파워앰프 앱이 이상하게 음질이 구려진거 같은데...	기븐	19.04.15	78	0
203469	미니	KT 속도가.....하하... [7]	TFOA	19.04.15	159	0
203468	미니	LTE 속도 비포애프터 [1]	비온날흙비린내	19.04.15	112	0
203467	미니	크트 LTE속도요... [1]	주주총회	19.04.15	112	0
203466	미니	이번 굿락은 조금씩 아쉬운 점들이 보이는군요. [1]	VentAzure	19.04.15	198	0
203465	미니	스크랑 게티 속도측정 해봤는데 [4]	Chrop	19.04.15	76	0
203464	미니	양호한 슼 지방LTE [2]	Helix	19.04.15	121	0
203463	미니	3G보다 느린 5G가 있다? [4]	HDMI	19.04.15	163	0
203462	미니	글로벌 버전 카메라 업뎃 하나봐요 [3]	TFOA	19.04.15	197	0
203461	미니	SKT LTE 집안	HDMI	19.04.15	127	0
203460	미니	게티 통신을보니 진짜로 심각하긴 하더라고요	Chrop	19.04.15	80	0
203459	미니	노티스타하고 나이스샷 둘 다 안 보이는데 [2]	Havokrush	19.04.15	212	0
203458	미니	갤텐플용 링케 퓨전X [7]	Stellist	19.04.15	281	0
203457	미니	자급제 쓰시는분들 통화녹음 어캐 하세요? [11]	제프	19.04.15	496	0
203456	미니	KT때문에 LTE 속도 인증이 많이 보이네요 [2]	YP-Q2	19.04.15	132	0
203455	미니	예전에 쟀던 KT LTE [3]	HDMI	19.04.15	157	0
203454	미니	노티스타, 나이스샷 둘 다 설치해봤는데 [23]	Havokrush	19.04.15	624	0
203453	미니	퇴근전 LTE속도 측정 [5]	마직수	19.04.15	120	0
203452	미니	굿락 보면 삼성도 은근 Geek 기질이 있어요 [4]	비온날흙비린내	19.04.15	386	0
203451	미니	sk lte.. [11]	화이트멘솔	19.04.15	190	0
203450	미니	5G 저리가라고 말하지 마십시오... [18]	숲속의참치	19.04.15	304	0
203449	미니	구글아 구글아 픽셀 정발을 하려믄 [4]	비온날흙비린내	19.04.15	242	0
203448	미니	LTE보다 느린 인터넷이 있다?! [6]	Chrop	19.04.15	226	0
203447	미니	갤럭시 버즈 배터리 10퍼센트면 몇분 사용할까요?? [4]	뉴랜드	19.04.15	756	0

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정