AI 새로 발견한 엑시노스 의외의 단점
- Eomjunsik
- 조회 수 621
- 2024.04.22. 12:59
termux 환경에서 llama.cpp를 이용한 llama 3 구동이 안되네요. ㅠㅠ
8gen2에서는 멀쩡히 되는 것을 보아 CLBlast와 엑시노스의 호환성 문제로 보입니다. 비주류 프로세서라는게 이런 곳에서 드러나는거겠죠.
8gen2에서 NPU 가속 없이 순수 GPU 성능, 그것도 오버헤드가 어마어마한 상태로도 llama 3 8B 4bit quantization 기준으로 3~4tps는 뽑네요. 이정도면 실제로 쓸만한 성능입니다.
iOS, macOS쪽은 확실히 API가 잘 갖춰져 있어서 MLX 가속을 이용하면 18tps도 뽑더군요. 안드로이드도 이런 API의 활용이 시급해 보입니다.
댓글
7
1등 BarryWhite
글쓴이
Eomjunsik
BarryWhite 님께
BarryWhite
Eomjunsik 님께
글쓴이
Eomjunsik
BarryWhite 님께
2등 흡혈귀왕
글쓴이
Eomjunsik
흡혈귀왕 님께
흡혈귀왕
Eomjunsik 님께
2024.04.22. 13:02
2024.04.22. 13:04
2024.04.22. 13:04
2024.04.22. 13:18
2024.04.22. 13:02
2024.04.22. 13:03
2024.04.22. 13:11
이런 시도가 가능한게 더 놀랍읍니다.