미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 922
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	117427	13
핫글	미니	폴드6 큰일났습니다.. 부모님이 찜해버리셨네요 [5]	올라온다진짜	09:32	296	14
핫글	음향	이번 버즈시리즈 QC문제 심각한 거 같네요 [5]	Beoplay31	24.07.14	1220	13
핫글	미니	제 기준 폴드6 폼팩터는 거의 완성형처럼 보이네요. [9]	흡혈귀왕	24.07.14	851	11
201664	미니	s24 후면 디자인 폴드5 형태로 바뀌나요?? [3]	익명	23.10.29	943	0
201663	미니	잡담: 과연 랩톱 프로세서의 왕은 누구...? (올해 및 내년) [3]	Section31	23.10.29	904	0
201662	미니	전용칩은 그래도 고클럭으로 나올까요? [4]	퍼핑	23.10.29	623	1
201661	미니	혹시 안드로이드 굿노트 쓰시는 분들 계시나요? [4]	후웨이	23.10.29	586	0
201660	미니	4070 4070su 4070ti 4070ti su [11]	범퀴	23.10.29	785	0
201659	미니	24에 계속 궁금한데 소식이 하나도 없는거 [5]	존버합니다	23.10.29	1019	3
201658	미니	이번 s24 에서 엑시 2400이라면 이제 작은노말s에 스냅이 탑재될일은 없는건가요? [5]	힐롱이	23.10.29	1100	0
201657	미니	인텔, PC 제조업체에 메테오레이크 CPU 출하 시작 [1]	PatGelsinger	23.10.29	480	0
201656	미니	잡담: 갤럭시 S24 시리즈 젤리케이스 모습 [7]	Section31	23.10.29	1403	1
201655	미니	비싸고 느린 보조배터리 왔습니다. [14]	Stellist	23.10.29	1588	17
201654	미니	이번에 관사 들어갈겸 노트북 하나 질럿습니다 [6]	S7엣지	23.10.29	840	6
201653	미니	짤막한 토요일 폰카 📷 [4]	개구리	23.10.29	326	9
201652	미니	당근에는 글자 안읽는사람이 왜이렇게 많을까요 [16]	런던너	23.10.29	1123	6
201651	미니	샘모바일: 갤럭시 S24는 1월 초중순에 발표할 수도 있음. [3]	달에서사탕만드는토끼	23.10.29	1024	3
201650	미니	갤럭시 셔터렉 문제는 해결됐나보네요? [5]	클라비스	23.10.29	1230	3
201649	미니	Kt 요즘 망 이상해진게 저만 그런게 아니군요 [11]	Rekoj	23.10.29	761	4
201648	미니	삼성이 인증한 '중고 갤럭시폰'…반값에 산다 [9]	어리아리	23.10.29	1271	8
201647	미니	근데 생각해보면 아이폰은 유행은 아닌거 같네요 [6]	부릉부릉힛	23.10.29	1412	17
201646	미니	삼성이 화이트(내지는 크림) 색상 빼는거... [10]	맛폰은디지바이스	23.10.29	1152	8
201645	미니	아이폰 12 Pro Vs. 15PM 디스플레이 저조도 테스트	ZAMIBOYAK	23.10.29	620	3
201644	미니	미니를 가장 좋아하는 제가 폴드만 쓰는 이유 [6]	kty4	23.10.29	1118	6
201643	미니	스냅드래곤 X가 Zen5, 메테오레이크 대비 큰 차별점이 있을까요 [4]	땃쥐나리	23.10.29	707	0
201642	미니	12Pro > 15PM 카툭튀 감수할만하네요. [6]	ZAMIBOYAK	23.10.29	840	7
201641	미니	일반 사람들은 AP가 뭔지 신경도 안쓸겁니다. [9]	요크	23.10.29	1220	6
201640	미니	아이폰 울트라 출시설은 어느새 잠잠해졌네요...? [2]	dlwlrma	23.10.29	603	1

👩🏼‍💻미코🌧️

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정