미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117431	13
핫글	미니	폴드6 큰일났습니다.. 부모님이 찜해버리셨네요 [6]	올라온다진짜	09:32	758	17
핫글	미니	[pic] 갤럭시버즈3 프로 화이트 [10]	Stellist	09:44	720	14
핫글	음향	이번 버즈시리즈 QC문제 심각한 거 같네요 [5]	Beoplay31	24.07.14	1384	13
38794	미니	애플페이 카드들 디자인이 바뀌었군요 [2]	Terrapin	23.09.20	917	3
38793	미니	이런 논란에서 답은 [5]	sourire	23.09.21	917	7
38792	미니	이미 지난 이야기지만.. ESIM이 이렇게 될거 진짜 몰랐을까요.. [5]	스퀴니	23.09.30	917	17
38791	미니	제가 KT 못버리는 이유 [6]	sourire	23.11.05	917	3
38790	미니	잡담: 사실 N3E 핀펫 옵션은 세 가지가 있는데... [10]	Section31	23.11.08	917	2
38789	미니	S24 램 용량은 정말 삼성의 패착이라고 생각합니다	샤크바프론	23.12.04	917	4
38788	미니	며칠 간 사용해 본 알람 앱 경험 비교 [7]	AlieNaTiZ	24.03.04	917	4
38787	미니	알리 뉴스 보면서 어이 없는거 [11]	룬룬	24.03.22	917	7
38786	미니	삼성은 S펜프로 2세대 낼 생각이 있을까요 [1]	[성공]함께크는성장	24.03.23	917	3
38785	미니	A55 1480 원신 프레임 vs G99U SD865 [2]	범퀴	24.03.26	917	2
38784	미니	Fold6 slim still has trouble winning [24]	iceuniverse	24.06.08	917	5
38783	음향	솔직히 특가 게시판에 올리고 싶은데... (알리) [2]	AlieNaTiZ	24.06.19	917	4
38782	음향	버즈 3 프로 anc 및 다른 기종들과 비교 리뷰 나왔네요 [9]	구보	24.07.13	917	2
38781	미니	안드로이드 파이 9.0 다크 모드의 배터리 절약 [2]	기기덕후	18.11.09	918	0
38780	미니	노트10 박스 포착 [11]	으냥	19.08.03	918	0
38779	미니	일본이 삼성 카메라 재진출을 원하는군요 [16]	오리제	19.08.21	918	2
38778	미니	모토로라 폴더블 실물사진 [8]	범죄자호날두	19.11.14	918	0
38777	미니	(대충 하얗게 불태웠다는 짤.jpg) [18]	Havokrush	19.11.22	918	5
38776	미니	담당 삼성 직원은 무슨 생각하고 있을까요? [6]	하렌쿠우	19.12.19	918	1
38775	미니	몽아재: 버즈플러스 노이즈캔슬링X [28]	범죄자호날두	20.01.06	918	0
38774	미니	플렉스 설탕 액정이네요~ [19]	unugno	20.01.08	918	0
38773	미니	화웨이 따라가는 삼성 [19]	브니엘	20.01.29	918	0
38772	미니	S20은 스냅으로 가길 잘했다고 봅니다. [9]	WayBack	20.01.31	918	6
38771	미니	JPG) 일본 판매용 갤럭시 Z 플립 [7]	MrGom™	20.02.13	918	0
38770	미니	Asus 라이젠 4000시리즈 게이밍 랩탑 가격..rumor	스퀴니	20.02.18	918	0

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정