미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 924
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 240809 수정	admin	18.08.04	118304	13
핫글	미니	16프로 베젤 진짜 얇네요 [8]	biller	04:20	2231	17
핫글	미니	애케플 인하는 없었던 것으로... [24]	엔당이희망입니다	14:21	988	15
핫글	미니	Galaxy S25 Ultra weight [16]	iceuniverse	15:51	777	14
201365	미니	잡담: 아사히 리눅스도 OpenGL ES 지원하는데... (X시리즈 관련) [5]	Section31	23.10.23	355	1
201364	미니	오 Nvidia VSR이 1.5로 업데이트되면서 드디어 20시리즈도 되는데 [13]	딸기맛치킨	23.10.23	617	4
201363	미니	엑시2400 과 스냅8gen3 for Galaxy 차이 [11]	벤초	23.10.23	1516	1
201362	미니	아이폰 배터리 성능 87이면 교체해야 하나요? [7]	아재건달_보노뭘보노	23.10.23	1824	0
201361	미니	유출대로라면 8G3 GPU 향상치는 조금 아쉽네요 [10]	흡혈귀왕	23.10.23	1077	2
201360	미니	갤럭시가 보급형도 아우르다 보니 이런 밈도 있군요. [12]	오레오가좋아	23.10.23	1446	2
201359	미니	잡담: 리뉴얼된 표준형 8 Gen 3 탑재 샤오미 14 시리즈 감지 [2]	Section31	23.10.23	826	1
201358	미니	잡담: 스냅드래곤 X Gen 1 유출 스펙 / DX12만 지원?? [4]	Section31	23.10.23	594	0
201357	미니	Snapdragon X Gen 1 공식 스펙 시트	달에서사탕만드는토끼	23.10.23	433	0
201356	미니	Snapdragon 8 Gen 3 공식 스펙 유출 [1]	달에서사탕만드는토끼	23.10.23	948	1
201355	미니	아이패드 미니 7세대 2024년 3월 출시 예정 [5]	요트맨	23.10.23	2330	6
201354	미니	S24U에서 궁금한점...... [5]	흡혈귀왕	23.10.23	896	5
201353	미니	16프로 프맥 5배줌은 15프맥 재탕일까요??? [6]	dlwlrma	23.10.23	628	0
201352	미니	S24 시리즈 최종 카메라 스펙 파악했네요 [28]	흡혈귀왕	23.10.23	2437	27
201351	미니	검정색 실리콘 케이스는 뒤에 얼룩이 묻었을 때 너무 티가 난다는 부분이 단점이네요..	Mate	23.10.23	252	0
201350	미니	윈도우 화면배율 100이하로는 못하는건가욥?? [12]	비둘기야먹자	23.10.23	1719	0
201349	음향	팟 프로2 c타입 빅스 때 많이 싸지나요? [3]	마루트	23.10.23	495	0
201348	미니	아이폰15 쓰시는 분들 카메라 포커스 잘 잡히시나요? [8]	요크	23.10.22	714	0
201347	미니	드디어 넘어왔습니다 [11]	LG산흑우	23.10.22	1451	25
201346	미니	갤럭시S23 화이트 정말 예쁘네요. [3]	요크	23.10.22	1307	13
	미니	x시리즈는 ai성능이 더 신기하네요 [2]	Antares	23.10.22	924	4
201344	음향	아앙 보스 qc울트라 지름요 [3]	품귀문란	23.10.22	646	5
201343	미니	스냅드래곤 X 시리즈 결국 성능 이변은 없나보네요.. [19]	흡혈귀왕	23.10.22	1152	1
201342	미니	요거 삭제하는 방법이 있나유 [2]	회기동길냥이	23.10.22	609	0
201341	미니	디시펌: 텐서 G3 전성비 세부자료 조만간 나올 예정 [1]	Section31	23.10.22	579	0

👩🏼‍💻미코☀️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정