미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 929
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	119353	13
핫글	미니	아이폰 16 카메라 코팅 이야기는 수상하게 영미웹진이 안다루네요 [5]	AquStar	24.09.23	1105	25
핫글	미니	갤펌)아이폰16(노멀)vsS24(엑시) 실사용비교 feat.Techmo [8]	알몬드오일	24.09.23	1009	24
핫글	미니	expert raw 에 대하여... [18]	씨샾	24.09.23	375	16
220516	미니	근데 미코분들은 왜이렇게 카톡을 싫어하시나요? [36]	오레오가좋아	22.04.14	2427	101
220515	미니	자체 제작한 광고차단 DNS 공개합니다 [67]	시엠	21.12.08	7937	97
220514	미니	결정! 씨샾 Gcam config 파일 영구공유 (23울트라) [39]	씨샾	23.09.09	5853	91
220513	미니	찌라시)삼성 파운드리 갤럭시s22 GPU클럭 및 CPU클럭 달성실패 [19]	장준후	22.02.07	2924	80
220512	미니	가장 싫어하는 테크 유튜버 [40]	시스템모니터	21.09.21	3501	78
220511	미니	오늘 엄마가 애플과 사랑에 빠진 썰.txt [17]	JamesBlake	21.10.09	2151	75
220510	미니	어휴 이제 좀 그만하세요. [32]	오레오가좋아	22.08.01	2535	73
220509	미니	GOS 소송 카페 운영자입니다. 감사드립니다. [20]	오키도	22.03.14	2976	73
220508	미니	아이폰12프맥 디스플레이 잔상 관련 센터 방문후기 [68]	릅갈통	21.08.10	5986	70
220507	미니	GOS 공지와 삼성 멤버스 답변으로 본 '언어'에 대한 이야기 [31]	Rx-Tx	22.03.06	3232	68
220506	미니	삼성은 이젠 기능 말고 '사용 경험'에 초점을 맞춰야 합니다. [29]	Daylight	23.08.11	4550	67
220505	미니	효자 추 받고싶어요 [40]	아이폰13프로	22.06.04	2657	67
220504	미니	[속보] 복잡하긴 한데 GOS 뚫었읍니다!!! [31]	RoseBlue	22.02.28	2803	66
220503	미니	계속되는 유출! 삼성, 가만히 있어서는 안됩니다! [14]	ONNURI	23.07.05	2366	64
220502	미니	노하는건 태도의 문제다. [14]	MysticCat	22.03.07	2818	64
220501	미니	당당)추천박아주십시오 [13]	파라볼리카	21.02.10	1127	63
220500	미니	사과문 [1]	종이상자	21.01.13	1764	63
220499	미니	현직입장에서 [28]	하드웨어매니악	23.10.07	2372	62
220498	미니	미코 대표 스피커 입니다 [9]	씨샾	22.03.16	2355	62
220497	미니	원가절감을 안했어야 칩셋 억울하다할 명분이 서죠 [17]	고송	22.03.08	2409	62
220496	미니	찌라시)갤럭시 s22 카메라 품질 관련 [28]	장준후	21.12.22	2562	62
220495	미니	왈왈 멍멍 크르르르 [27]	이태리밤고구마	22.02.10	1670	61
220494	미니	S20시리즈 QHD+에서 120Hz 강제설정 후기 [17]	점장	21.01.18	7647	61
220493	미니	요즘 삼성 디자인 진짜 심각합니다 [69]	Geronimo	24.06.30	3922	59
220492	미니	미코 1호인가요.... 이..이게아닌가...? [21]	미기코리아	23.02.08	2034	59

👨‍👩‍👧‍👦미코🌕

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

확장 변수

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정