미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 920
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114017	13
핫글	미니	몰랐는데 아이폰이 알람이 잘 안울리는군요 [14]	치즈볼	01:03	1104	10
핫글	미니	갤럭시 특정앱 실행 반박자 느린거 영상 찍어왔습니다 [17]	모코코	12:25	621	8
핫글	미니	스마트폰 생성형 배경화면은 갈길이 머네요 [4]	미붕붕드링크	15:31	249	6
203604	미니	노트북 기변해야되는데 애매하네요 [1]	배붕이	21.09.27	179	1
203603	미니	디렘프로2 음감 하면 귀가 좀 아프네요...	AriMoon	21.10.09	179	0
203602	미니	샀습니다	KIKIRAKA	21.11.02	179	2
203601	미니	인텔 1월 4일에 H610 B660 H670 칩셋 출시 예정 + 일부 보드 유출	TM.Roh	21.12.26	179	0
203600	미니	혹시 "razer barracuda x" 이거 사용하시는 분 계신가요??	어리아리	22.02.08	179	0
203599	미니	저도 받았읍니다	김애용	22.02.22	179	3
203598	미니	다크모드 관련 질문! [1]	최닉넴	22.03.08	179	1
203597	미니	S21U 3배 줌 영상 문제 질문 드립니다.	Polishe	22.06.16	179	0
203596	미니	플립 전화 수신 시 커버스크린에 스팸필터 정보 나오는 건 안 되죠?	rofl	22.08.15	179	0
203595	미니	삼브 베타 버그 저만 생기나요? [2]	슈갤럼	22.08.30	179	1
203594	미니	망령 [1]	LG산흑우	22.09.01	179	1
203593	미니	당연히 직구였는데 유심이 여기서...	봄차	22.09.08	179	0
203592	미니	핫셀블라드 X2D 100C 1억화소 미러리스	PaulBasset	22.09.08	179	1
203591	미니	Intel이 Arc Limited Edition 데스크톱 GPU를 제때 시작하지 못함	PatGelsinger	22.09.24	179	1
203590	미니	Nt761 이제품 어떨까요? [3]	Ginza	22.10.05	179	0
203589	미니	픽셀은 사보고 싶긴 합니다 [1]	AurA	22.10.06	179	1
203588	미니	구글 픽셀 워치 소프트웨어 업데이트는 최소 3년간 제공 확인	PatGelsinger	22.10.11	179	0
203587	미니	역시 애플이 소비자의 고민을 해결해주네요	베이어	22.10.19	179	0
203586	미니	폰 패드 워치 다 페이등록했네요	댕밤	23.03.21	179	0
203585	미니	삼성 강남에서 닷컴 전용플립색상 예약 받나요??	Tofubob	23.07.31	179	0
203584	미니	오늘도 링블 주문 실패했네요.	개구쟁이	23.09.07	179	0
203583	미니	삼성의 구글 픽셀3 노치 디스 [5]	기기덕후	18.10.12	180	0
203582	미니	V40 ThinQ 그래도 저렴하게 나왔네요 [6]	기기덕후	18.10.14	180	0
203581	미니	찌라시) 갤S10 5G 모델 내년 2월로 출시계획 변경 [5]	기기덕후	18.10.18	180	0
203580	미니	패드프로 3세대의 발전된 페이스언락 [2]	기기덕후	18.10.27	180	0

👩🏼‍💻미코🌿

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정