미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117876	13
핫글	미니	애플페이 관련 왜 카드사가 욕먹는지 이해가 안갑니다 [11]	갠냑시	24.08.15	1230	26
핫글	미니	S25 Ultra [12]	iceuniverse	24.08.15	1444	16
핫글	미니	s6 그 분은 가셨습니다. [13]	niotree	24.08.15	876	11
179278	미니	AMD, RDNA 2세대 60% 이상 성능 증가 [33]	6_inch	20.01.15	656	0
179277	미니	갤럭시A10e 출고가 199,100원 [21]	S.C	20.01.15	975	0
179276	미니	르누아르는 삼성/엘지 제품도 나왔으면 좋겠네요 [5]	아라리	20.01.15	536	0
179275	미니	(루머) Google Pixel, 통화 녹음 지원?	6_inch	20.01.15	225	0
179274	미니	크롬 OS 80 제스처 [3]	기변증	20.01.15	578	0
179273	미니	근데 A랑 M은 무슨 차이인가요? [11]	존버합니다	20.01.15	425	0
179272	미니	짭플펜슬 세일하네요 [9]	배붕이	20.01.15	2161	0
179271	미니	갤럭시에 LVM 적용하면 안될까요? [3]	기뻐하는어피치	20.01.15	465	0
179270	미니	2019 갤럭시 A,M라인업들 회상	라테린	20.01.15	296	0
179269	미니	구글은 유튭밴스드 인도 우회 안잡는겁니까? 못잡는겁니까? [5]	이시우배찌	20.01.15	851	0
179268	미니	정펌이 좋긴 좋네요 [2]	씨샾	20.01.15	616	0
179267	미니	지금 S5e 사기엔 너무 늦은 건가요? [9]	Track13	20.01.16	561	0
179266	미니	유튜브 밴스드 불법인가요? [6]	IceCat	20.01.16	1755	0
179265	미니	국방부, 병사 휴대전화 '카메라 촬영' 차단 기술 개발 [5]	aleji	20.01.16	768	0
179264	미니	삼성, 2019년 코드리스 판매량 3위 기록 [15]	S.C	20.01.16	793	0
179263	미니	아이패드 플레이어..뭐쓰는게 좋아요? [8]	영화과부도	20.01.16	472	0
179262	미니	[공식] MS Edge Chromium 공식 배포 [4]	6_inch	20.01.16	657	0
179261	미니	유튭 밴스드 찾아보니 이제 좀 위험하겠네요 [4]	IceCat	20.01.16	1226	0
179260	미니	펑 [13]	정치닉네임23949591	20.01.16	851	0
179259	미니	이거도 악용?일려나요 [3]	라테린	20.01.16	580	0
179258	미니	아이폰 se2에 램이 4기가 가 들어갈일은 없겠죠?? [2]	작은히포하마	20.01.16	393	0
179257	미니	토스에서 중고폰 거래도 하네요 [11]	포롱포롱포로리	20.01.16	703	0
179256	미니	애플이 만약 세계최고 거물급들도 정부에 잠금해제 지원 안할까요? [18]	이시우배찌	20.01.16	585	0
179255	미니	이온 나쁘지 않은 가격에 풀리네요 [1]	LTE	20.01.16	684	0
179254	미니	apk 파일 잘못 설치했습니다.. [4]	znrznr	20.01.16	369	0

👩🏼‍💻미코🌧

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정