![Antares](https://meeco.kr/files/member_extra_info/profile_image/818/972/036/36972818.jpg?20230324134528)
미니 x시리즈는 ai성능이 더 신기하네요
- Antares
- 조회 수 924
- 2023.10.22. 22:56
https://youtu.be/rYVPDQfRcL0?si=r4d0hG-aLcZe1F1c&t=159
물론 최적화하면 훨씬 높기야하겠지만 amd 출시예정인 h100대응 gpu mi300이
발표회때 40b 모델 실행하는거 보면(2분 40초 부근) 초당 토큰 10개도 안되어 보이는데
사용자 기기에서 온디바이스로 7b 모델 초당 토큰 30개가 사실이면 굉장하네요
https://www.thelec.kr/news/articleView.html?idxno=23208
인터뷰보면 ai쪽 완전 집중하는거 같던데 기대됩니다 이게 앞으로 뭘할 수 있을지
댓글
양자화 얼마나 먹였는지 없이 그냥 7B라고만 써있어서 아직은 성능 판단의 근거로는 삼기 힘들다는 생각입니다만 그래도 4비트 양자화한 모델이 X86 CPU로 토큰 뽑아내는 속도 생각하면 나쁘지는 않네요