미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117524	13
핫글	미니	삼닷 폴드6 화이트 왔네요! [24]	잇선생	12:23	983	32
핫글	미니	어느 갤럭시 팬의 부탁 [2]	샐리	10:32	931	31
핫글	미니	삼성 섭센직원들 반응 이해안가네요 [20]	여가어딥미코	17:43	767	13
202500	미니	속상하네요 [10]	찌그렁오리	23.11.02	1117	12
202499	미니	위젯 애니메이션은 11월에 개선 예정 [8]	펄럭펄럭	23.11.02	939	1
202498	미니	M3 GPU는 A17 Pro 기반인데 [4]	dlwlrma	23.11.02	829	2
202497	미니	아르헨티나 그냥 있으면 될 거 같네요 [16]	[성공]함께크는성장	23.11.02	2760	3
202496	미니	유튜브 프리미엄 가격이 여러 곳에서 인상 되는군요 [9]	[성공]함께크는성장	23.11.02	1030	3
202495	미니	잡담: 긱벤치6 기반 Oryon, A15,16,17, M3 계산 [4]	Section31	23.11.02	647	0
202494	미니	티빙은 일부 유저만 가격 유지시킬 생각인가 보네요 [16]	MrGom™	23.11.02	884	1
202493	미니	폴드4 드디어 베타2차... [7]	ipksklee	23.11.02	476	3
202492	미니	이게 무슨 뜻일까요? [6]	달에서사탕만드는토끼	23.11.02	725	1
202491	미니	삼성뉴스룸에 올라온 Enhance-X가 실제랑 다르네요? [3]	갤9플스	23.11.02	1083	1
202490	미니	8G4 누비아 소형코어를 따로 만들었다는 얘기가 있네요 [5]	달에서사탕만드는토끼	23.11.02	726	1
202489	미니	픽셀 6pro도 이제 UltraHDR 촬영 가능합니다 [7]	S.R	23.11.02	480	2
202488	미니	M3시리즈 설계전략 변경 [2]	좌지우건	23.11.02	840	0
202487	미니	M3 웨어퍼당 다이개수 추정	좌지우건	23.11.02	301	0
202486	미니	지금 이 시점에 갤럭시탭S7은 어떤가요? [12]	빅코	23.11.02	735	1
202485	미니	뜬금없이 엘지폰 갖고 싶네요 [4]	아재건달_보노뭘보노	23.11.02	470	0
202484	미니	루머] D9300 관련 [1]	좌지우건	23.11.02	473	1
202483	미니	(사진추가)S23 시리즈 one ui 6.0 테스트펌 빌드 되었다네요 [9]	RASBI	23.11.02	1052	6
202482	미니	MacBook Pro 16 전력소모를 보니... [2]	좌지우건	23.11.02	664	0
202481	미니	s23 fe출시가 늦네요 [6]	이시우배찌	23.11.02	537	2
202480	미니	이번 스마트태그 악용 사례는 참... 창의적이네요... [10]	MrGom™	23.11.02	939	4
202479	미니	스마트태그2는 콜라보 악세서리도 좀 신경쓰나봐요 [5]	Stellist	23.11.02	591	3
202478	미니	잡담: X Elite vs 다른 CPU 성능 표로 정리했습니다. [5]	Section31	23.11.02	557	1
202477	미니	탭 A9+ 갤캠스에 올라왔네요 [11]	LG산흑우	23.11.02	713	4
202476	미니	나오는거 보면 M3P코어는 A16 기반이 맞는거죠?	AquStar	23.11.02	271	0

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정