미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 921
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	115055	13
핫글	미니	갤럭시 AI 창의력;;; [19]	Pepsi베어	00:16	1943	20
핫글	미니	올인원프로 간단 사용 [8]	하늘목장	10:28	932	17
핫글	미니	S25U에 HP2 센서가 쓰이긴하지만.... [12]	흡혈귀왕	12:23	766	11
202379	미니	발열이 배터리에 얼마나 영향을 주나요? [3]	미세먼지주의보	23.11.07	465	0
202378	미니	A17 Pro GPU 말리한테도 밀리네요 이제... [3]	dlwlrma	23.11.07	1040	5
202377	미니	아이폰 15 유출 정확도 랭킹 TOP 3 [3]	요트맨	23.11.07	927	4
202376	미니	유튜브에서 드래그할 때마다 영상 정지되는 거 [3]	참깨돌이	23.11.07	957	0
202375	미니	카메라 구입은 어디가 괜찮은가요? [11]	PatGelsinger	23.11.07	540	1
202374	미니	PS5 Pro 루머 스펙 [27]	흡혈귀왕	23.11.06	1655	5
202373	미니	2400은 정보 더없나요..? [5]	범퀴	23.11.06	1105	3
202372	미니	9300이 클럭유지 잘하는거 아니네요 [3]	바보중	23.11.06	965	6
202371	미니	미디어텍 보니 이거 생각 나네요 [2]	sourire	23.11.06	633	7
202370	미니	아래 D9300 벤치영상 기가 막히네요. [17]	gamma	23.11.06	1584	12
202369	미니	S23 노말에서 울트라로 넘어온 입장인데 [3]	Kanata	23.11.06	824	2
202368	미니	갤럭시 화면 모드 뭐쓰세요들? [14]	옆집남	23.11.06	767	0
202367	미니	미디어텍이 이래버리면 퀄컴 삼성이 좀 이상해지네요 [1]	Rekoj	23.11.06	888	2
202366	미니	D9300 각종 벤치 영상 [11]	좌지우건	23.11.06	744	1
202365	미니	디멘시티 9300은.. 진짜 저클럭상황에서의 소비전력이 관건이네요.. [15]	스퀴니	23.11.06	1061	2
202364	미니	"그나마" 작은 현행 안드로이드 플래그십들 [1]	choijm0715	23.11.06	962	3
202363	미니	D9300 긱벤치6 갱신점수 [8]	좌지우건	23.11.06	773	3
202362	미니	잡담: 5개월 전 그렸던 디멘시티 9300 다이어그램 [1]	Section31	23.11.06	484	0
202361	미니	디멘시티 저거 제가 작년초에 주장하던걸 진짜로 발표하다니 ㄷㄷㄷ [11]	바보중	23.11.06	1034	5
202360	미니	D9300 GPU 개선치 [2]	좌지우건	23.11.06	679	1
202359	미니	잡담: 미디어텍 디멘시티 9300 공식 사양이 공개되었습니다.	Section31	23.11.06	350	1
202358	미니	유무선 공유기 보다는, 유선공유기 + 무선AP 가 좀 더 나은것 같네요 [4]	금어초8gen3	23.11.06	436	0
202357	미니	잡담: 미디어텍 도발 쎄네요... [2]	Section31	23.11.06	947	1
202356	미니	디멘시티 9300 긱벤치6 멀티8000 ㄷㄷ [1]	달에서사탕만드는토끼	23.11.06	869	2
202355	미니	D9300 긱벤치6 피크치는...	좌지우건	23.11.06	324	1

👩🏼‍💻미코🌞

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정