얼마 전 수령한 맥북 프로, 열심히 뜯고 즐기고 있습니다.

얼마 전에 미코에서 whisper 관련한 글을 보기도 했고, 이전에 제 겜트북에서 RTX 4070 모바일로 한번 돌렸다가 메모리 부족으로 데꿀멍했기도 했기에, 이번에 한번 새 맥에서 whisper 을 구동해보기로 했습니다.

사용한 프로그램은 whisper.cpp (https://github.com/ggerganov/whisper.cpp) 을 사용했으며, 옵션은 다음과 같습니다.

- 모델: `ggml-large-v3-turbo`

- 플랫폼: CoreML (Apple Neural Engine (ANE) 활용)

- 하드웨어: M4pro 16core, 24GB RAM

위 동영상은 맥북에서 한국어 딥러닝 관련 강의에서 텍스트를 추출해본 것입니다. 보시는대로 모니터에서 ANE의 전력 소모량이 올라가는 것이 보이는데, CoreML 을 통해서 정상적으로 inference 가 되는 것으로 보입니다. 현재까지 사용해본 경험으로는:

- Whisper.cpp 는 Metal 을 통한 GPU 가속과 CoreML 을 통한 ANE 가속 옵션 두가지를 지원합니다.

- Metal 만을 사용하였을 때, 패키지 전력 소모량은 25와트 정도 되는 것으로 보입니다.

- quantization 이 들어간 모델을 ANE 가속으로 구동시 패키지 전력이 15와트 내외로 나옵니다. 팬 소음도 심하지 않고, 속도도 비교적 빠릅니다.

결론적으로, quantization 이 들어간 모델을 ANE 을 통해 구동한 경우, 제 기대치를 제대로 만족시켜 주는 것 같습니다. 한국어와 영어가 섞인 오디오도 잘 받아쓰고, 처리 속도가 엄청 빠른것은 아니지만 15와트 내외로 찍히는 패키지 소모 전력은 참 좋군요. 앞으로 ANE 가속이 더 많이 지원되길 바래봅니다.