미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117879	13
핫글	미니	애플페이 관련 왜 카드사가 욕먹는지 이해가 안갑니다 [12]	갠냑시	24.08.15	1435	28
핫글	미니	S25 Ultra [12]	iceuniverse	24.08.15	1720	18
핫글	미니	로그 엘라이X 괜찮군요 [10]	쿼드쿼드	24.08.15	646	6
179285	미니	워치액티브1과 2가 하드웨어 상에서는 별 차이 없지 않나요? [10]	아기건달_보노보노	19.11.22	619	0
179284	미니	애플은 수리에 마진을 챙기지 않습니다. [18]	Futuristics	19.11.22	509	2
179283	미니	삼성 워터폴 디스플레이 스마트폰 디자인 특허 [3]	다잊어야해욥	19.11.22	597	0
179282	미니	OPPO, 스마트폰용 자체 프로세서 'OPPO M1' 개발 [2]	다잊어야해욥	19.11.22	362	0
179281	미니	갤럭시 베타 프로그램 시작 시간 공지가 있었나요? [8]	운김	19.11.22	276	0
179280	미니	애플 AS 마진 드립 웃기네요 [1]	LG알바	19.11.22	357	0
179279	미니	마진없는게 당연하죠... 리퍼가 새제품 주는건데 뭔 마진이 나와;; [13]	범죄자호날두	19.11.22	1254	15
179278	미니	작놋텐과 놋텐플 충전 구간 [4]	aleji	19.11.22	314	0
179277	미니	노답 KT 어플 [16]	sands	19.11.22	855	0
179276	미니	블프의 세일로인해 갤워치 액티브2 득템! [17]	맛폰은디지바이스	19.11.22	821	0
179275	미니	갤럭시 업데이트에 불만이 많습니다. [17]	시엠	19.11.22	700	0
179274	미니	LG V50 ThinQ 안드로이드 10 프리뷰 시작 [5]	운김	19.11.22	267	1
179273	미니	HDD 하나 샀습니다. [3]	운다인	19.11.22	134	0
179272	미니	아이패드 5와 6의 차이가 클까요? [4]	라니안	19.11.22	215	0
179271	미니	사실 현시점 와서 삼성의 사후지원 위치가 애매해지긴 햇죠 [6]	S7엣지	19.11.22	293	0
179270	미니	유부남의 에어팟프로 리뷰 [1]	범죄자호날두	19.11.22	327	0
179269	미니	삼성이 판올림 3번을 지원해주더라도 여기 있는 분들은 아마 [10]	뉴랜드	19.11.22	388	0
179268	미니	업데이트 적은건 맞다고 봅니다. [1]	헤페바이쎄	19.11.22	80	0
179267	미니	OS 무거워지는 속도 보면 그냥 2번이 나은거 같아요 [4]	[성공]함께크는성장	19.11.22	218	0
179266	미니	제가 차기갤럭시에 바라는점은 단 하나입니다 [2]	노틀담의꼽추	19.11.22	200	0
179265	미니	삼성은 이 둘중 하나는 무조건 해줘야합니다. [4]	S.C	19.11.22	302	0
179264	미니	삼성의 업데이트주기 연장이 불가능해 보이는이유 [9]	라테린	19.11.22	324	0
179263	미니	아니면 2번을 하더라도 최선을 다했으면... [1]	귀주대첩	19.11.22	116	0
179262	미니	원UI 다이어트가 그리 가능해보이지는 않는게 [2]	[성공]함께크는성장	19.11.22	321	0
179261	미니	샤오미 홍미 K30: 120Hz 디스플레이 [5]	LG알바	19.11.22	426	0

👩🏼‍💻미코🌧

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정