미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117718	13
핫글	미니	다시 24플러스 쓰는데	빅코	15:52	346	8
핫글	미니	폴드6 구매할까 하면서도 참 망설여지네요. [12]	Genoc1de	13:07	599	5
핫글	미니	어쩌다가 이렇게... [4]	Alternative	08:19	1097	5
39485	미니	[루머] 내일 M2 맥북나온다는 이야기가 있네요. [11]	Futuristics	23.01.17	915	3
39484	미니	그램 외장그래픽 모델은 팬 키우고 히트싱크를 줄였네요? [10]	PatGelsinger	23.02.05	915	3
39483	미니	삼성서비스 기사재량이라는게 가능한이유가 뭔가요? [24]	swing546	23.02.10	915	0
39482	미니	미국 이베이 S22U 256gb >>> 삼성 트레이드인 [7]	kk2hgo	23.02.13	915	2
39481	미니	풀프레임의 여유로움 [6]	S.R	23.02.22	915	6
39480	미니	갤럭시북 -갤럭시 모바일 연동성 갈수록 쓸만해지네요 [11]	비둘기야먹자	23.03.04	915	2
39479	미니	워치4는 완충되면 알림도 오는군요 ㄷㄷ [14]	도루말	23.03.18	915	0
39478	미니	갤S24,S24+는 램이 12GB로 올라야만 하는것 같습니다. [8]	요트맨	23.04.12	915	5
39477	미니	삼성 파운드리 수율이나 성능이 정상화 됐는지는 텐서가 보여주겠죠 [6]	Qkooqq	23.04.19	915	4
39476	미니	이륙 완료했습니다~~ 우우웅 [4]	a1001	23.07.01	915	15
39475	미니	지금 삼성을 기준으로 브랜드 값어치랑 허들 이야기가 나오지만 [5]	흡혈귀왕	23.07.18	915	7
39474	미니	SF3E 관련 주저리... [4]	흡혈귀왕	23.07.19	915	5
39473	미니	엑시노스는 결국 나와서 뚜껑 따봐야... [15]	Stellist	23.08.06	915	17
39472	미니	3개 다 업데이트 우효~~~~~ [3]	LG산흑우	23.09.01	915	2
39471	미니	파인우븐 케이스.. 색이 영 구리네요 [5]	댕밤	23.09.13	915	0
39470	미니	잡담: 각 디바이스별 원신 30분 돌린 뒤 온도 측정 [13]	Section31	23.09.20	915	1
39469	미니	아이폰은 오래써도 초기화안해도 안느려지나요? [17]	실바누스	23.09.22	915	1
39468	미니	예전엔 스마트폰 AP가 이러던 시절이 있었지요 [4]	RuBisCO	23.09.28	915	3
39467	미니	샤오미가 시도는 진짜 열심히 하는거 같아요. [1]	웽웽	23.10.27	915	10
39466	미니	One UI 6.0 베타라 그런지 프레임 드랍이 보여요 [10]	갤럭시S23	23.11.04	915	2
39465	미니	삼성도 과연 중국애들처럼 괴랄한카메라썸을..? [8]	S24울트라존버	23.11.16	915	0
39464	미니	안드로이드오토 베타에서 통화녹음 됩니다. [4]	호모루덴스	23.12.14	915	6
39463	미니	S25에도 gn3루머는 그냥.. [5]	곰장수	23.12.18	915	1
39462	미니	원UI 업데이트가 S24때문에 늦는게 아닐지 [6]	서피스구글	24.01.12	915	0
39461	미니	비전 프로는 애플로고 덕이 크다 봅니다 [3]	갠냑시	24.01.21	915	9

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정