미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117704	13
핫글	미니	이야 폴드6 대만족이네요.jpg [4]	품귀문란	10:18	760	11
핫글	미니	버즈3 선물 받았슈~~ [3]	갠냑시	24.08.01	585	7
핫글	미니	버즈3프로 QC 이슈 이후 제품 [3]	1o92nd	24.08.01	1236	5
15533	미니	잡담: 맥북에어 15를 3개월째 쓰면서 못내 아쉬웠던 점 [5]	Section31	23.10.24	311	1
15532	미니	에어팟프로2 29.9 할인하네요 [13]	헤르	23.10.24	786	2
15531	미니	유플러스는 전산 시스템 제대로 QA 하지 않은걸까요 [9]	흡혈귀왕	23.10.24	422	2
15530	미니	맥북에어 M2 개빡치는점 [9]	코러스	23.10.24	670	1
15529	미니	아이폰으로 갈아타고 난 뒤에 바뀐 생각들 [20]	AlieNaTiZ	23.10.24	1966	24
15528	미니	구글, 삼성 메시지와 월렛 앱을 유해하다고 표시 [2]	MrGom™	23.10.24	986	2
15527	미니	[란즈크] 샤오미 14 스냅 Gen3 추가 긱벤치 멀티 7400점 돌파 [9]	우주안녕	23.10.24	887	0
15526	미니	데스크탑과 스마트폰, 구글 코랩에 관한 잡담 [5]	Hahn	23.10.24	463	1
15525	미니	제 환경에선 유플이 가장 낫긴하네요..(통신3사 5G) [7]	스퀴니	23.10.24	465	2
15524	미니	잡담: 에이닷 부작용, "아이패드/맥북/워치서 전화 안 터져" [12]	Section31	23.10.24	1202	3
15523	미니	갤럭시 탭 A8 Wi-Fi One UI 5.1.1 업그레이드	운김	23.10.24	170	0
15522	미니	2400랑 8G3 멀티 성능 차이는... [28]	흡혈귀왕	23.10.24	1142	4
15521	미니	갤럭시 => 아이폰으로 넘어가기 어려운 이유 [21]	엔당이희망입니다	23.10.24	1296	14
15520	미니	슬슬 배터리가 예전같지 않네요 [3]	DKV2	23.10.24	548	2
15519	미니	아이폰은 여러번 써보지만 프맥은 처음 써보는데요	HQteam	23.10.24	332	5
15518	미니	뒤늦게 접해본 아이폰 15 (feat.안사람) [1]	Ghamnabit!	23.10.24	575	5
15517	미니	UI/UX에 대한 신세계 경험중입니다. [3]	CaffeineJuice	23.10.24	989	8
15516	미니	유튜브 ios 너무 좋아졌네요 [10]	소나기	23.10.24	992	1
15515	미니	하이마트(오프라인)에서 아이폰 하신분 계신가요 [3]	해피피스	23.10.24	288	0
15514	미니	한국은 진짜 통녹이 필수인게 [16]	뚜시뚜시	23.10.24	1559	12
15513	미니	엑시노스(전용칩) for WoA? [15]	Aimyon	23.10.24	983	3
15512	미니	이제 아이폰은 하나만 해주면 제 레이더에 들어옵니다 [3]	하와이조아	23.10.24	723	1
15511	미니	로지텍 유니파잉 설정이 웹기반으로 바꼈는데 [8]	LTE	23.10.24	495	1
15510	미니	에이닷 통녹 가입이 안되네요..	qwerty	23.10.24	336	0
15509	미니	에이닷 당연히 녹음 내용 원본도 제공 하는군요	alsgh97	23.10.24	540	5

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정