미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117365	13
핫글	미니	폴6 가격 정책 최악이네요,,,저러면 누가사나... [35]	하늘목장	24.07.12	1663	21
핫글	미니	이미 폴드에 녹아버린 인간 [6]	가마	24.07.12	1171	18
핫글	미니	폴더블폰은 원가가 대체 어떻길래... [21]	Niflheimr	24.07.12	1328	15
202108	미니	갤럭시 게이머들 열받는짤 [13]	윤이	23.10.28	1490	8
202107	미니	갤럭시에서 카메라 어시스턴트가 꼭 필수도 아니에요... [21]	Stellist	23.10.28	1556	35
202106	미니	잡담: 개인적인 스냅드래곤 X Elite 레이팅 (스압주의) [7]	Section31	23.10.28	629	2
202105	미니	솔직히 갤럭시 인물사진 구리다기보단..... [7]	Ginza	23.10.28	942	5
202104	미니	갤럭시 제일 문제점은 이거라고 생각합니다. [34]	Qkooqq	23.10.28	1528	9
202103	미니	KT 종종 신호는 있는데 먹통이지 않나요? [40]	도나쓰	23.10.28	672	2
202102	미니	S23U 50MP 2배 vs. 12MP 2배 [9]	우주안녕	23.10.28	642	5
202101	미니	등산 (feat. Gcam) (스압 주의) [7]	씨샾	23.10.28	376	15
202100	미니	꼭 첫 스마트폰 경험이 그대로 이어지진 않더라고요 [11]	바보중	23.10.28	868	6
202099	미니	S23U 프로모드 달샷	흡혈귀왕	23.10.28	426	5
202098	미니	스퀘르클 카메라 섬 디자인 등장 예정 [3]	Stellist	23.10.28	711	6
202097	미니	조금 다른얘기지만 40대형님들의 애플사랑... [14]	Ginza	23.10.28	1112	3
202096	미니	윈도우는 슬립모드 좀 개선해주면 좋겠습니다 [3]	땃쥐나리	23.10.28	394	3
202095	미니	삼성은 그냥 자기 갈 길 가면 됩니다. [13]	그렇군요	23.10.28	1584	29
202094	음향	에어팟 프로 1세대가 고장나서 애플스토어를 다녀왔습니다 [1]	AlieNaTiZ	23.10.28	506	0
202093	미니	유행에 속하는 세대가 아닌 세대가 유행을 분석하는 것 만큼 [12]	AquStar	23.10.28	1129	28
202092	미니	전 갤럭시가 마케팅을 근본적으로 바꾸어야 한다고 봅니다. [15]	HQteam	23.10.28	1045	13
202091	미니	A7 Lite를 한 대 얻었는데.... [7]	lunic*	23.10.28	545	4
202090	미니	갤럭시 해외 이미지는 괜찮은듯 한데... [2]	SOCOM	23.10.28	779	7
202089	미니	10대가 갤럭시 쓸 요인 자체가 없지 않나요 [8]	alsgh97	23.10.28	895	8
202088	미니	싼 거 만드는 건 문제가 아닌데 잘 만들어야죠. [6]	Niflheimr	23.10.28	545	16
202087	미니	삼성 리퍼브 스마트폰 국내에도 판매 예정 [3]	달에서사탕만드는토끼	23.10.28	822	9
202086	미니	갤럭시가 10대들한테 이미지 나쁜 건 싸구려 사줘서 그런 거 아닌가요 [18]	카밀리아	23.10.28	994	3
202085	미니	실시간..가을가을 하네요. [2]	곰장수	23.10.28	231	7
202084	미니	갤럭시가 10대 점유율을 끌어올리려면... [19]	코러스	23.10.28	893	4

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정