미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 921
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114646	13
핫글	미니	ExpertRAW 디지털ND필터로 찍은 철원 직탕폭포 [5]	AquStar	24.06.06	388	9
핫글	미니	근래 나온 갤럭시중 최애색상.jpg [7]	품귀문란	24.06.06	555	7
핫글	미니	맛클 기억하는 분 계신가요? [8]	카본블랙	24.06.06	608	5
204689	미니	근데 폴드4는 버린건가요? ㅠ [2]	띵홍	23.12.09	878	3
204688	미니	S25 디자인 풀체인지 저만 걱정되나요 [23]	코드명다빈치	23.12.09	1867	9
204687	미니	동일한 갤럭시 S23 FE.. 스냅 8 Gen1 vs 엑시 2200 [9]	스퀴니	23.12.09	972	3
204686	미니	잡담: 이제 "S5" 뒤에 붙는 알파벳 마지막 퍼즐이 채워졌네요.	Section31	23.12.09	454	1
204685	미니	무선 ADB앱 안전한가요? [8]	OneUI2	23.12.09	578	0
204684	미니	잡담: 엑시노스 2200 vs 스냅드래곤 8+ Gen 1 [2]	Section31	23.12.09	822	0
204683	미니	A54 5G와 S23 FE가 앞판만 같은 건가요? 외형 전체가 같은 건가요? [7]	aleji	23.12.09	598	0
204682	미니	AFMF(Amd Fluid Motion Frame)은 8K에서는 안되는 기능인가요? [2]	으헝잇힝으헝	23.12.09	415	0
204681	미니	고민끝에 저질렀습니다... [2]	레쓰비	23.12.09	931	10
204680	미니	Gen3 멀티 6천 후반이면 엑시도 할말은 있겠네요 [15]	Rekoj	23.12.09	1820	9
204679	미니	해외 교환학생 가기전에 폰 바꾸려는데 고민이네요 [14]	레쓰비	23.12.09	809	1
204678	미니	S23 FE 민트색상 끌리네요	FNSAWTA	23.12.09	466	7
204677	미니	아이폰 사용중인데 프리미엄도 아닌데 pip가 되네요? [4]	참깨돌이	23.12.09	1015	2
204676	미니	잡담: 엑시노스 모뎀 표 (정리한 버전, v1.0) [8]	Section31	23.12.09	1093	6
204675	미니	오랜만에 호민증	마키세크리스	23.12.09	461	5
204674	미니	글픽카드 두개꼽으려고 X670보드를 저렴하게 구했는데.. [13]	스퀴니	23.12.09	551	0
204673	미니	피처폰 컬러마케팅 끝판왕 [7]	미붕붕드링크	23.12.09	1330	8
204672	미니	갤럭시 갤러리의 스토리 자동 생성은 못 끄는군요 [7]	구보	23.12.09	2358	0
204671	미니	당근마켓은 경로의존성을 모르나봅니다 [2]	코러스	23.12.09	1086	3
204670	미니	8 Gen 3 폰 영입했습니다 [11]	choijm0715	23.12.09	1902	23
204669	미니	저는 오렌지색 폰 하면 이 제품이 생각납니다. [2]	미붕붕드링크	23.12.09	693	6
204668	미니	애플 아이폰 디자인 담당 임원이 퇴사하는군요... [4]	Stellist	23.12.09	1246	1
204667	미니	애플 개인 음성 만들기 신박하네요 [11]	Giants	23.12.09	816	3
204666	미니	주황색 갤럭시를 보니 이 아이가 생각나네요 [3]	오레오가좋아	23.12.09	967	4
204665	미니	탠저린 실물 괜찮네요 [13]	SOCOM	23.12.09	1901	29

👩🏼‍💻미코🌿

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정