미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117680	13
핫글	미니	드디어 받았습니다 [11]	도나쓰	24.07.30	845	25
핫글	미니	살짝 부끄러운 효도...♡ [3]	수육썰다가다친손	24.07.30	411	16
핫글	미니	부산여행기 (feat.S23울트라)_스압주의 [6]	씨샾	24.07.30	304	15
39407	미니	저는 써드파티 스토어 반대입니다. [10]	알휙	22.12.14	915	17
39406	미니	T전화에서 "전화받아"가 가능해집니다 [4]	[성공]함께크는성장	22.12.21	915	4
39405	미니	s23 플러스는 별로일려나요? [7]	이시우배찌	23.01.01	915	1
39404	미니	APPLE M2와 Zen4 APU 다이 사이즈 비교 [7]	흡혈귀왕	23.01.06	915	6
39403	미니	[루머] 내일 M2 맥북나온다는 이야기가 있네요. [11]	Futuristics	23.01.17	915	3
39402	미니	그램 외장그래픽 모델은 팬 키우고 히트싱크를 줄였네요? [10]	PatGelsinger	23.02.05	915	3
39401	미니	삼성서비스 기사재량이라는게 가능한이유가 뭔가요? [24]	swing546	23.02.10	915	0
39400	미니	풀프레임의 여유로움 [6]	S.R	23.02.22	915	6
39399	미니	갤럭시북 -갤럭시 모바일 연동성 갈수록 쓸만해지네요 [11]	비둘기야먹자	23.03.04	915	2
39398	미니	워치4는 완충되면 알림도 오는군요 ㄷㄷ [14]	도루말	23.03.18	915	0
39397	미니	갤S24,S24+는 램이 12GB로 올라야만 하는것 같습니다. [8]	요트맨	23.04.12	915	5
39396	미니	삼성 파운드리 수율이나 성능이 정상화 됐는지는 텐서가 보여주겠죠 [6]	Qkooqq	23.04.19	915	4
39395	미니	이륙 완료했습니다~~ 우우웅 [4]	a1001	23.07.01	915	15
39394	미니	지금 삼성을 기준으로 브랜드 값어치랑 허들 이야기가 나오지만 [5]	흡혈귀왕	23.07.18	915	7
39393	미니	SF3E 관련 주저리... [4]	흡혈귀왕	23.07.19	915	5
39392	미니	엑시노스는 결국 나와서 뚜껑 따봐야... [15]	Stellist	23.08.06	915	17
39391	미니	3개 다 업데이트 우효~~~~~ [3]	LG산흑우	23.09.01	915	2
39390	미니	파인우븐 케이스.. 색이 영 구리네요 [5]	댕밤	23.09.13	915	0
39389	미니	잡담: 각 디바이스별 원신 30분 돌린 뒤 온도 측정 [13]	Section31	23.09.20	915	1
39388	미니	아이폰은 오래써도 초기화안해도 안느려지나요? [17]	실바누스	23.09.22	915	1
39387	미니	예전엔 스마트폰 AP가 이러던 시절이 있었지요 [4]	RuBisCO	23.09.28	915	3
39386	미니	샤오미가 시도는 진짜 열심히 하는거 같아요. [1]	웽웽	23.10.27	915	10
39385	미니	One UI 6.0 베타라 그런지 프레임 드랍이 보여요 [10]	갤럭시S23	23.11.04	915	2
39384	미니	삼성도 과연 중국애들처럼 괴랄한카메라썸을..? [8]	S24울트라존버	23.11.16	915	0
39383	미니	안드로이드오토 베타에서 통화녹음 됩니다. [4]	호모루덴스	23.12.14	915	6

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정