미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117910	13
핫글	미니	워치 울트라 QC문제 아닙니다 [19]	AquStar	24.08.18	1383	20
핫글	미니	폴드6 크래프티드 블랙.jpg [7]	품귀문란	24.08.18	1173	14
핫글	미니	S24울트라 -> Z Flip6로 이주 완료 [23]	워너비프란시스	24.08.18	1062	12
40555	미니	AUO, 디플내장 지문인식 LCD 패널 발표 [2]	슈갤럼	19.05.21	301	0
40554	미니	만약에 펜타 카메라면 [1]	범죄자호날두	19.05.21	301	0
40553	미니	실외기 일체형 창문 에어컨 나왔네여 [8]	숲속의참치	19.05.20	301	0
40552	미니	원플러스 코드리스이어폰 배터리 좋네요 [3]	범죄자호날두	19.05.15	301	0
40551	미니	애플에서 데스크탑 준비하는건가요? [9]	범죄자호날두	19.05.14	301	0
40550	미니	엑시노스는 아몰레드랑 비슷하다고 봅니다 [11]	비온날흙비린내	19.05.13	301	0
40549	미니	10E 스펙 차별 안했으면 더 안팔렸을거 같은데 [8]	봉팔맨	19.05.11	301	0
40548	미니	수면시 십오짐 배터리 [6]	숲속의참치	19.05.09	301	0
40547	미니	S10 기본필름이 S9때부터 붙여준 정품필름과 동일 재질인가요? [5]	[갤플당]Cyan	19.05.03	301	0
40546	미니	F(X)가 부릅니다. 럼펑펑펑! [7]	퇴물덕후	19.04.30	301	0
40545	미니	안드Q 정책변화에 대한 비전문적인 의견 [2]	프라페노	19.04.29	301	0
40544	미니	한달에 폰 요금 얼마 나오시나요 [37]	비온날흙비린내	19.04.23	301	0
40543	미니	오우 생각보다 초기 물량이네요우 [1]	Havokrush	19.04.18	301	0
40542	미니	갤버즈 카카오 케이스는 무산된 건가요? [3]	고기마스터	19.04.13	301	0
40541	미니	엘지는 장사 할 생각이 없는거 같습니다 [3]	우효~초럭키♡	19.04.12	301	0
40540	미니	D2d 하웨이 p30pro 리뷰 떳네용 [4]	멜로엘로	19.04.12	301	0
40539	미니	ai 스피커 중엔 뭐가 제일 낫나요? [7]	라시드	19.04.07	301	0
40538	미니	엣지 기술 유출만 아니었어도 기술격차 더 심했을 텐데 [4]	귀주대첩	19.04.04	301	0
40537	미니	차세대 아이폰 스펙 루머 [5]	qazsdf	19.04.03	301	0
40536	미니	아니 9825 MP16으로 GPU코어도 늘어나네요 [12]	qazsdf	19.03.31	301	0
40535	미니	스마트폰 제조사중 브랜드선호는 애플인듯 [14]	그럴리가	19.03.30	301	1
40534	미니	멘하탄과 티렉스 온도차 무엇 [6]	qazsdf	19.03.30	301	0
40533	미니	정부가 비메모리 부분 키우려나 봅니다 [11]	Chrop	19.03.27	301	1
40532	미니	키노트 발표에도 로그가 한 페이지로 끝이라니. [2]	VentAzure	19.03.26	301	0
40531	미니	케이스 온 기념 홈인증 [5]	qazsdf	19.03.21	301	0

👩🏼‍💻미코☀️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정