termux 환경에서 llama.cpp를 이용한 llama 3 구동이 안되네요. ㅠㅠ

8gen2에서는 멀쩡히 되는 것을 보아 CLBlast와 엑시노스의 호환성 문제로 보입니다. 비주류 프로세서라는게 이런 곳에서 드러나는거겠죠.

8gen2에서 NPU 가속 없이 순수 GPU 성능, 그것도 오버헤드가 어마어마한 상태로도 llama 3 8B 4bit quantization 기준으로 3~4tps는 뽑네요. 이정도면 실제로 쓸만한 성능입니다.

iOS, macOS쪽은 확실히 API가 잘 갖춰져 있어서 MLX 가속을 이용하면 18tps도 뽑더군요. 안드로이드도 이런 API의 활용이 시급해 보입니다.