미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 921
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114728	13
핫글	미니	지금의 S펜은 폴드에겐 오히려 독인 듯 합니다. [22]	Daylight	24.06.10	990	14
핫글	미니	갤럭시 버즈3 프로 렌더링 유출 [29]	노다	24.06.10	1640	12
핫글	음향	(농담) 버즈3 프로 렌더링을 본 뒤의 생각 [4]	MrGom™	24.06.10	983	8
202022	미니	소니 없는 소니 감성 VOL.2 [4]	마키세크리스	23.11.01	582	7
202021	미니	일단 내년 랩톱 올라운더 MVP는 Zen5 APU일거같네요. [8]	흡혈귀왕	23.11.01	566	0
202020	미니	15프로+파인우븐 매우 늦은 후기 [13]	갤럭시S23	23.11.01	785	2
202019	미니	PC카톡 윈도우헬로 지원한다고 합니다 [2]	Chrop	23.11.01	671	6
202018	미니	페럴럴즈 질문 있습니다. [2]	룬룬	23.11.01	158	0
202017	미니	내년 1월 안으로 노트북 사야하면 지금 사는게 맞을까요? [15]	KIKIRAKA	23.11.01	607	1
202016	미니	안드14 홈업 마음에 드는 부분 생겼네요 [4]	[성공]함께크는성장	23.11.01	734	1
202015	미니	a9+ 아쉽네요... [8]	돈없는대학생	23.11.01	669	2
202014	미니	누비아는 모바일에서 3.7GHz 정도가 적정선이지 않을까요? [25]	흡혈귀왕	23.11.01	718	3
202013	미니	근데 AMD에서 더이상 썬볼은 문제도 아니더군요. [4]	WayBack	23.11.01	589	0
202012	미니	내년 코어텍스 x5 ipc가 누비아를 이길 수 있을까요? [13]	Antares	23.11.01	564	0
202011	미니	일단 정황상 누비아 E코어는 존재하지 않고 [6]	흡혈귀왕	23.11.01	562	0
202010	미니	갤럭시북 프로나 그램에도 AMD가 들어가면 좋겠는데... [13]	참깨돌이	23.11.01	602	2
202009	미니	8 성능 코어에 15W TDP면 엄청나긴 하네요..? [11]	WayBack	23.11.01	669	0
202008	미니	SXE 제 기준 태클걸고 지적할 부분 (성능x) [16]	흡혈귀왕	23.11.01	575	4
202007	미니	Zen5 APU가 40% 개선이라고 한다면... [12]	WayBack	23.11.01	650	0
202006	미니	6.0 태스크 체인저 미니모드가...	ReoNa	23.11.01	400	0
202005	미니	iOS 에이닷 통녹 셀룰러 워치랑은 불편한점이 있네요 [2]	도나쓰	23.11.01	534	0
202004	미니	GN3 센서가 24까지 쓰이는거죠? [6]	빅코	23.11.01	723	1
202003	미니	구글플레이 올해의 앱/게임 투표시작 [7]	라테린	23.11.01	331	2
202002	미니	One UI 6.0 베타 저만 아는 버그 [2]	드왁	23.11.01	540	1
202001	미니	s23 일반 유저분들께 질문 [15]	열정너구리	23.11.01	590	0
202000	미니	스냅 X Elite는 그냥 지켜봐야됩니다. [1]	gamma	23.11.01	694	15
201999	미니	외국에서도 X Elite 전력소모 안믿는 눈치네요.. [9]	WayBack	23.11.01	788	3
201998	미니	카톡 상단알림바에서 이모티콘 안뜨네요 [2]	엣지	23.11.01	428	1

👩🏼‍💻미코🌿

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정