gpu가 asic으로서 cpu 역할을 일부 대체했듯, npu 역시 이들의 역할을 대체하리라 봅니다.

이미 많은 분야에서 사용중이고요

아 제가 말이 좀 짧았네요.

현재 소비자 중심의 소위 'AI 기능'이라고 말하는 것들 중 대부분은 기기 자체 칩셋의 NPU를 사용하지 않고 기존의 CPU/GPU를 사용하는 전통적 방법의 코드베이스를 사용하거나 클라우드로 전송 후 데이터센터에서 처리하는 방식을 쓰면서

각 제조사들은 새로운 칩셋을 발표할 때마다 CPU/GPU의 성능 부족을 감추기 위해 소비자에게 별 득이 될 것 없는 'NPU 성능 500% 증가' 등의 홍보문구로 소비자들을 현혹하는 현 세태를 비판하기 위해 쓴 말이었습니다.

현재 각 메이저 제조사들의 칩셋에 포함된 NPU는 서로 완전히 다르고 독자적인 아키텍쳐를 사용하면서도 서드파트에서 사용할 수 있는 API를 거의 공개하고 있지 않은 상황이라 소비자들 입장에서는 제조사 앱 이외에는 거의 성능 활용을 하지 못하고 있습니다.

갤럭시 s10에도 npu가 내장되었단 사실 아시나요?

이미 실생활에 크게 이용되고 있었습니다.

api는 퀄컴이 적극적으로 공개하는 추세입니다

https://aihub.qualcomm.com/

각 제조사들은 자기 칩셋의 기능을 시스템 앱에서 사용 중이었죠. 그것조차도 안 하면 그저 모래낭비였겠죠... 제가 알기론 카메라에서 ISP의 기능 중 일부를 카메라에서 사용 중인걸로 알고 있는데, 그 말곤 모르겠네요. 반대로 S10부터 지금까지 NPU가 있었는데도 그 기능을 활용하는 앱이 하나도 없는 거군요.

현재 구글이나 플레이스토어에서 검색해봐도, 가장 인기있는 모바일 칩셋인 스냅드래곤에 탑재된 NPU를 활용하는 앱을 찾을 수 없었습니다. 구글 일부 검색결과에서 퀄컴이 올려놓은 샘플 앱을 빌드하기 위한 깃허브만 있었네요. 혹시 시스템 앱이 아닌 서드파티 앱 중에서 NPU를 활용하는 앱이 있다면 알려 주시면 감사드리겠습니다. 

참고로 애플 진영에서는 Neural Engine(CoreML)을 쓰는 앱들이 더러 있네요.  
https://apps.apple.com/kr/app/waifu2x/id1286485858

https://www.soundonsound.com/forum/viewtopic.php?t=85155

맞습니다. 맞긴 한데... NPU가 다이만 끌어먹고 쓸 데가 없다는 비판점은 약간 어폐가 있지만 가장 큰 문제점은 말씀하신 지원 문제, 칩 API 공개가 '전혀' 일어나고 있지 않은 현실이 참 갸우뚱하게 만드는 면이 있습니다. 삼성만 봐도 카메라 알고리즘이 불완전하지만, NPU 연산 알고리즘이 알려져 있지 않으니 다른 옵션이 주어지지 않는 것도 일맥상통하죠. 

(심지어) ARM 개발 보드들의 마케팅 포인트 중 하나가 (예를 들면)4TOPs, 5TOPs 등의 NPU를 통한 ML 연산 성능이지만, 정작 기능 개방이 안되어 있으니 이건 뭐 숫자 놀음이지 않나 싶기도 하죠.

이런 부분에서 애플의 ML 지원, CoreML이 무려 A11 바이오닉(17"...!)부터 이어져온 걸 보면 애플이 어느 정도 개발자 친화적 성격을 띈다는 게 드러납니다. (스포티파이라던가 뭔 에픽이라던가 뭔 하는 것들은 돈이 얽힌 문제인지라...)

개발 보드들은 부트로더 언락도 간편하고 빌드도 userdebug일테니, 제조사에서 제공하는 개발 도구를 사용하면 NPU성능을 다 뽑을 수 있긴 할 겁니다. 말씀하시는 걸 보니 저보다 아마 더 잘 아실 테지만요ㅎㅎ

다만 그렇게 만든 앱을 어차피 배포할 수가 없는 게 가장 큰 문제이니...

기존 npu를 시스템 제조사 앱 말고 쓸 필요가 있었는가?, 그 필요성이 파편화를 감당할 만큼 큰가? 라는 질문에 답하면 굳이 싶죠.

예를 들어 콴다에 npu를 통한 ocr과 자연어 처리 기능을 구현한다고 가정합시다. 사용자 기기가 스냅인가, 엑시인가, 디멘시티인가, 텐서인가 따라 다 다를 것이고, 8gen1, 8gen2 등등 같은 스냅에서도 파편화가 상당할텐데 약간의 성능 향상보단 개발 편의성에 따를 겁니다. 그러니 서드파티 앱에서 npu를 쓰는 경우가 거의 없었던 거구요.

그러나 지금은 다르다고 봅니다. 오늘날 모델의 크기가 상당히 큰편이고 여러 모델을 복합적으로 이용하는 멀티 모달이 등장한 시점에서 cpu와 gpu만의 처리는 상당히 비효율적입니다. 때문에 npu 수요가 전보다 커졌음이 분명하고 이에 퀄컴이 모델을 공개하여 사용을 장려하고 있죠.

대표적으로 스테이블 디퓨전의 경우 gpu로 처리하기 상당히 무거운 모델입니다. npu를 이용하면 이러한 부담을 덜 수 있겠죠.

일단 소비자용 시장에서 유의미한 NPU 사용을 하는 앱을 만드려면 말씀하신데로 파편화를 해결해야 하죠. 당장 PC쪽만 해도 엔비디아, AMD, 인텔 등등이 다 각자 규격으로 ML 라이브러리를 만들다가 비엔비디아 진영이 합쳐진 지가 얼마 되지 않았죠. NPU 사용량이 많고 활용성도 무궁무진한 PC 시장이 겨우 걸음마를 땐 정도인데, 각자 잇속이 가득한 모바일 시장은 얼마나 걸릴지...

게다가 해결한다고 해도, 거대한 모델을 굴리는 데에는 클라우드 처리 방식이라는 커다란 경쟁자가 있죠. 사용자 관리가 간편하고 수익 창출도 더 용이한...

전력 소비나 반응성의 측면에서 소형 모델을 굴리기에는 적합하지만, 현재로선 OpenAI가 4o같은 몬스터 모델을 무료로 공개하고 있기도 하고, 소형 모델의 사용처가 분명치 않은 것도 사실이고요. 여러모로 활용처를 아직 잘 못 찾고 있습니다.

파편화가 해결되고 통일된 개발환경이 나올 때 쯤이면 현재의 NPU들은 전부 obsolete해질 것도 불 보듯 뻔하고요...

반가운 상황은 아니지만 엔비디아가 학습 시장을 선점했듯, npu에서도 추론 시장을 선점하는 업체가 나올 수도 있습니다.

아니면 cpu가 그렇듯 커널이나 라이브러리에서 최적화시켜 별다른 코드 없이 동작하거나, jit 방식으로 최적화 시킬 수도 있죠.

저는 npu 시장이 더욱 성장하리라 봅니다. 클라우드 시장도, 엣지 컴퓨팅 시장도 npu를 원하는 시점이라서요.

당장 자율 주행차와 같이 객체 인식용 npu 시장은 정말 뜨겁습니다.

저는 산업 용도에서 NPU의 의미를 부정하지 않습니다. 가속용 전용칩은 당연히 필요하죠.

앞서 제 두 번째 댓글에서 말했듯, 저는 소비자용 시장에서 제대로 된 소프트웨어/개발환경의 지원 없이 제대로 사용하지 않는 NPU를 넣어 두기만 하는 제조사의 행보를 비판한 겁니다.

개발 환경이 자체 SDK 개발보다 유명 라이브러리 차원에서 지원으로 바뀌었습니다.

인텔, AMD, 퀄컴 모두 파이토치, 텐서플로우, ONNX 등 여러 라이브러리를 지원하고 있고, 응용 소프트웨어와도 협업을 통해 지원 중이고요.

제조사는 충분히 노력 중이라 봅니다.

첫 AI 폰이라고 광고한 제품의 칩셋에서, 정작 NPU는 SDK 제공을 안해놓은지라 제조사가 제공하는 소프트웨어 외엔 못쓰게 해둔걸 보고 실망감이 들더라고요.

메타버스마냥 마케팅 목적으로 AI란 단어를 남발하는 감이 있어 요즘은 제품 소개에 AI를 언급하는 게 긍정적으로만 보이진 않습니다...

맞습니다. "The NPU offers 6.5 TOPS of AI compute power, a minor improvement (up from 5 TOPS)". 45TOPs에 비해선 상당히 아쉬워보이나 존재하긴 합니다. 애초에 7시리즈라서 안 들어가는게 더 이상하긴 하죠...
(https://www.gsmarena.com/the_snapdragon_8cx_gen_3_is_the_first_5nm_chipset_for_windowsonarm_laptops_7c_gen_3_tags_along-news-52015.php)

"몇몇 항목에만 NPU가 필요하다"고 언급한 것 보면, 몇몇 일부 기능은 저런 식으로 우회해서 쓰면 호환성 문제로 사용이 되지 않는다는 뜻일 거고, 결국 NPU를 쓰지 않는 환경인데도 돌아간다는 것 같네요.