미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117840	13
핫글	미니	폴드6 오토바이 시속 30km떨어진 결과.jpg [6]	품귀문란	24.08.12	1254	12
핫글	미니	iOS 18 DB6 [1]	숨겨진오징어	02:12	368	8
핫글	미니	엑스페리아에서 구글 포토 무제한 삽질기 [6]	RASBI	00:29	586	7
39807	미니	폴드4 전면 정품필름 샀읍니다. [15]	애상	22.08.18	914	1
39806	미니	S22 5.0 베타 기적의 가용램 [3]	Eomjunsik	22.08.26	914	1
39805	미니	s22울트라 디스플레이 딴딴하네요 [4]	출사표	22.08.28	914	2
39804	미니	아무것도 아닌 폰 왔슈 [15]	빅코	22.09.27	914	11
39803	미니	유튜브 또 왜 이런데요 [3]	케이비어	22.11.15	914	0
39802	미니	극히 개인적인 생각 [10]	마키세크리스	22.12.07	914	7
39801	미니	[아론황]OPPO Find N2 언박싱 및 첫인상 [9]	Angry	22.12.25	914	5
39800	미니	빙냥이 S23U 200MP 12배 샷 [6]	Aimyon	23.01.19	914	7
39799	미니	S23U 50MP S20 64MP S22U 108MP 비교 [14]	흡혈귀왕	23.02.03	914	4
39798	미니	[오목교 전자상가] S23U vs. 14P 카메라 비교 [4]	우주안녕	23.02.15	914	2
39797	미니	와 이건 몰랐네요. [5]	도저히못참겠다	23.02.17	914	0
39796	미니	스싱 스테이션 실망이네요.. [3]	불펌냥이	23.02.17	914	4
39795	미니	삼성이 이미지네이션을 인수했으면 뭔가 달랐을라나요? [6]	찌그렁오리	23.02.19	914	2
39794	미니	요즘엔 특정기업 교통카드 자체가 점점 사장되는 분위기같은데 [5]	biller	23.02.27	914	0
39793	미니	스팀은 언제쯤 64비트 클라이언트가 나올까요 [1]	[성공]함께크는성장	23.03.04	914	3
39792	미니	워치 삼페 nfc 자꾸 안 열 거면 [10]	[성공]함께크는성장	23.03.20	914	4
39791	미니	아이폰 15 구매하려고 했던 이유는 사실 [4]	trigun	23.08.04	914	4
39790	미니	설레발은뭐다. 구글페이정발이 곧픽셀정발은글쎄요 [6]	S24울트라존버	23.08.16	914	4
39789	미니	폴드 차기작에서는 화면 좁 키웠으면 좋겠습니다 [10]	GalaxyZFold5	23.09.16	914	8
39788	미니	국내 아이폰 15 첫 주 판매량 작년 대비 50% 급증 [8]	InMyCup	23.10.25	914	6
39787	미니	진돗개 하나 진돗개 하나 [4]	긴닉네임24643649	23.10.31	914	10
39786	미니	지난번에 모 횐님이 LSI에서 RISC-V로 R&D중인게 있다고 [2]	Aimyon	23.11.11	914	4
39785	미니	폴더블 패널의 주름문제를 해결할 기술이 나왔네요 [6]	룬룬	23.12.18	914	2
39784	미니	6.1이 정말 얼마 안남났네요 [2]	a1001	24.01.22	914	9
39783	미니	비전프로는 간만에 실패할거 같네여 [6]	아재건달_보노뭘보노	24.01.31	914	1

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정