미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	117902	13
핫글	미니	S24울트라 -> Z Flip6로 이주 완료 [8]	워너비프란시스	10:44	441	10
핫글	음향	버즈3 프로 하루 간단 사용기	프로입털러	08:19	406	9
핫글	미니	애플이 "너무 그럴싸하다"고 연락한 아이폰 폴더블폰 컨셉 [20]	Stellist	11:00	780	8
203213	미니	아이패드 미니5 통신사 오늘 오픈이군요...살까말까...	Stellist	19.04.23	129	0
203212	미니	폴드가 아이폰 첫 출시 전철을 밟는게 아닐까요 [2]	숲속의참치	19.04.23	257	0
203211	미니	글로벌파운드리가 구IBM 뉴욕 팹을 매각	Eidio	19.04.23	141	0
203210	미니	5G 하드한 세팅이라면 기지국 LTE만큼 깔려도 못잡습니다 [9]	sjkoon	19.04.23	273	0
203209	미니	펑 [4]	요트마스터	19.04.23	184	0
203208	미니	LG폰 출시 연기 이어 삼성도...휴대폰 강국 이미지 씁쓸 [4]	aleji	19.04.23	227	0
203207	미니	차라리 연기하는 게 낫죠 [3]	[성공]함께크는성장	19.04.23	134	0
203206	미니	스코코 강화유리 너무 두껍네요; [4]	Helix	19.04.23	234	0
203205	미니	아이패드미니 이렇게 되나요? [6]	오락기마스터	19.04.23	309	0
203204	미니	폴드 3세대, 아이패드 프로 4세대 까지 존버합니다. [4]	Helix	19.04.23	244	0
203203	미니	아이유. 6년 연속 소니 모델 계약 [5]	Creart	19.04.23	275	0
203202	미니	5G 요금제 사용 질문 있습니다 [2]	갬럼심	19.04.23	79	0
203201	미니	후지 X-T30 [1]	Stellist	19.04.23	175	0
203200	미니	갤럭시 폴드 출시 연기 상세일정 [6]	Helix	19.04.23	230	0
203199	미니	삼성뮤직 업데이트 [3]	N935S	19.04.23	285	0
203198	미니	폴드 연기 좋습니다. 다만... [11]	숲속의참치	19.04.23	182	0
203197	미니	이러면 나가리인데,, [9]	갤러리별	19.04.23	261	0
203196	미니	탭스고이를 염두에 두고 있습니다 [8]	숲속의참치	19.04.23	185	0
203195	미니	삼성 플래그쉽폰 발매시기를 이렇게 하는것도 나을듯. [3]	RumblingHearts	19.04.23	175	0
203194	미니	폴드는 시간 지나면 노트 라인업이랑 합쳐지지 않을까요 [2]	귀주대첩	19.04.23	113	0
203193	미니	공홈 기준 아이폰 XS MAX 512기가 185만원 [3]	귀주대첩	19.04.23	212	0
203192	미니	S10 펌업후 터치음...ㅎㄷㄷ [2]	으하하핳	19.04.23	324	0
203191	미니	뭐를살지 고민되내요 [5]	jangon	19.04.23	113	0
203190	미니	갤럭시 폴드 출시 연기 [2]	셈숭전자	19.04.23	199	0
203189	미니	살거면 4:3 태블릿이 좋은데 [9]	숲속의참치	19.04.23	218	0

👩🏼‍💻미코☀️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정