미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117416	13
핫글	미니	빙우주) 폴더블 무게는 기업의 데이터를 믿지 마라 [12]	Mint	24.07.14	1461	27
핫글	미니	갤럭시링 골드 진짜ㅋㅋㅋㅋㅋ [33]	Alternative	24.07.14	1547	17
핫글	미니	s24 울트라... 빠이.. [6]	루팡	24.07.14	1060	16
177840	미니	엑시노스 공식 트위터에 트윗이 올라왔네요 [17]	나는야멋쟁이	20.12.03	924	7
177839	미니	빅스마일데이 노트북 이거 건질만하네요 [25]	인헤리턴스	20.10.31	924	3
177838	미니	s21 CAD기반 디자인이 유출된거같네요 [25]	다누끼	20.10.18	924	1
177837	미니	짱숨 클립보드 내용 수집해간다네요 ㅋㅋ [11]	여가어딥미코	20.09.28	924	4
177836	미니	나무위키는 뭐가 다른 걸까요? [16]	MrGom™	20.09.25	924	1
177835	미니	음? 갑자기 해외에서 갤럭시S8/놋8 이슈가 올라오네요? [9]	스퀴니	20.09.06	924	2
177834	미니	XPS 17 9700도 NotebookCheck에 리뷰 올라왔네요. [4]	Havokrush	20.07.19	924	0
177833	미니	버즈 라이브 케이스를 본것 같습니다 [14]	웨이	20.07.09	924	0
177832	미니	이젠 도대체 왜? 라는 말밖에 안나오네요 [21]	ATNT	20.06.17	924	0
177831	미니	미래엔 광고 따위는 없습니다. [6]	제네시스다	20.06.13	924	0
177830	미니	갤럭시 A50 vs. A51 [9]	두기둥	20.06.10	924	0
177829	미니	폴드e 루머 [4]	플롱	20.05.11	924	0
177828	미니	역시 플립 힘으로 펼치면 [18]	바인더5CM	20.04.06	924	0
177827	미니	개인적인 태블릿PC의 생산성 [17]	BarryWhite	20.04.05	924	0
177826	미니	윈도우가 초기 선점효과를 본 건 맞는데 [17]	[성공]함께크는성장	20.03.22	924	4
177825	미니	[스크롤압박주의] 산 지 대강 5개월 된 빈치하다 스트랩 근황.jpg [13]	Havokrush	20.02.24	924	0
177824	미니	팀쿡 스토킹 당했네요 [15]	범죄자호날두	20.02.22	924	0
177823	미니	안드로이드 협업 이거에요 [4]	범죄자호날두	20.02.06	924	0
177822	미니	고추바사삭! [14]	오토카모	20.01.23	924	0
177821	미니	노트10+ 인데 이거 뭐하면 나오는화면입니까? [6]	Aix843	19.11.28	924	0
177820	미니	S11+ 뇌이징 [43]	브니엘	19.11.28	924	0
177819	미니	시기상조 모니터 샀습니다 [2]	서린	24.06.08	923	12
177818	미니	아이폰 10년 쓰다, 갤 넘어온 후 최대 단점 [1]	mushrooms	24.05.18	923	2
177817	미니	왜 갤럭시/아이폰 위주로 추천하냐면 [5]	sourire	24.04.09	923	7
177816	미니	앵커 3in1 신형 좋아 보이네요 [4]	에피	24.04.05	923	3

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정