미니 x시리즈는 ai성능이 더 신기하네요

Antares
조회 수 921
2023.10.22. 22:56

https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이

발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데

스크린샷 2023-10-22 225158.png

사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요

https://www.thelec.kr/news/articleView.html?idxno=23208

인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지

1등 RBPT

2023.10.22. 23:07

양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요

[RBPT]님의 댓글을 신고합니다. 취소 신고

글쓴이

Antares RBPT 님께

2023.10.22. 23:07

뭐 있는거 없는거 전부 적용해서 했기야 할거 같습니다
다만 이렇게 빠르게 온디바이스 llm을 실현시킨거 자체가 신기해서...
스테이블 디퓨전만 해도 신기했는데

[Antares]님의 댓글을 신고합니다. 취소 신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	115719	13
핫글	미니	아래 란즈크발 블로그 반박 [30]	흡혈귀왕	24.06.18	1694	19
핫글	미니	삼성 소프트웨어가 진짜 짜치는 점... [11]	Stellist	24.06.18	1639	17
핫글	미니	역시 최후의 승자는 엑시노스 2400이네요 [12]	LG산흑우	24.06.18	1064	17
182186	미니	비전프로는 후속작 미래도 어두울 것 같네요 [13]	신한대알바	24.02.01	880	4
182185	미니	생각보다 xclipse 보급이 많이 되어야 합니다 [3]	갠냑시	24.02.01	672	4
182184	미니	소니 드디어 삼성전자 추월 성공 [12]	갠냑시	24.02.01	1339	4
182183	미니	개인적으로 폴드는 남자(아재) 느낌이 너무 강한거 같아요. [12]	dencihinji	24.02.01	1167	4
182182	미니	드디어 mmwave가 보급되네요 [18]	염화은	24.02.01	1396	4
182181	미니	제4이통사 낙찰관련일부기사내용중 [4]	S24울트라존버	24.01.31	903	4
182180	미니	요즘 확실히 NFC단말기가 많이 확대되었다고 느끼네요 [4]	스퀴니	24.01.31	608	4
182179	미니	갤럭시 S24U VS Pro DSLR Sony Camera [6]	맛폰은디지바이스	24.01.31	759	4
182178	미니	카메라 패치 언제쯤 진행되려나요 [22]	Sparrow	24.01.31	974	4
182177	미니	소니 카메라서 사용 가능한 휴대용 5G 데이터 전송기가 나왔네요 [11]	룬룬	24.01.31	533	4
182176	미니	역전재판 456 벌써 발매 됐었군요 [8]	MrGom™	24.01.31	436	4
182175	미니	비전프로의 비전OS 1.0 에선 앱 드로우 커스텀 불가능 [1]	AquStar	24.01.31	383	4
182174	미니	내일 데이원패치 기원합니당 [4]	흡혈귀왕	24.01.30	606	4
182173	미니	컬러스케일 AR 강화유리 재발송 공지가 떴네요 [1]	콜홍	24.01.30	661	4
182172	미니	덱스 신버전 UI 괜찮네요 [6]	감비아도나츠	24.01.30	1239	4
182171	미니	S24 인스턴트 슬로모 기능 재밌네용 ㅎㅎㅎㅎ [10]	[배고프당]요호호	24.01.30	802	4
182170	미니	데스 스트랜딩 아이폰/아이패드 출시 [4]	Alternative	24.01.30	772	4
182169	미니	s24u 푸꾸옥 벤치 [5]	KuroCrow	24.01.30	655	4
182168	미니	아주 짧은 W5+G1 탑재 샤오미 워치 2 프로 구동 영상 [1]	웽웽	24.01.30	316	4
182167	미니	빅스비 디자인이 바뀌었네요? [2]	하나림	24.01.30	660	4
182166	미니	S24울트라 사고 싶네요 [6]	닮은살걀	24.01.30	516	4
182165	미니	S24 AI 기능 괜찮네요ㅋㅋㅋㅋ [6]	사골센서	24.01.30	1236	4
182164	미니	출시 직전 2400 관련 자료를 보면서 고민하긴 했습니다 [1]	토핑	24.01.30	715	4
182163	미니	S23U 쓰면서 S24U에 부러운 점 [6]	모논노네	24.01.30	942	4
182162	미니	GsMARena S24, S24+ 배터리 라이프 [17]	aleji	24.01.29	1011	4

👩🏼‍💻미코🌞

미니 x시리즈는 ai성능이 더 신기하네요

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정