![Fluent](https://meeco.kr/files/member_extra_info/profile_image/300/632/038/38632300.jpg?20240415214855)
미니 아니 Recall이 NPU 없어도 작동하네요 ㅋㅋㅋㅋ
- Fluent
- 조회 수 1266
- 2024.05.27. 17:41
스냅드래곤 7c+ Gen3, 3.4 GB 램의 환경에서 작동 성공했다고 합니다 ㅋㅋㅋ 세상에
심지어 아주 잘 작동한다고 하네요 ㅋㅋ
우회해서 작동시킨 원 스레드주에 따르면 물론 특정 워크로드에서는 NPU가 필요하다고 하지만 적어도 기본 Recall 기능에 NPU는 필요하지 않은 것 같다고 합니다.
그리고 현재는 x86, x64용 패키지가 없기 때문에 ARM64 기반 윈도우 11에서만 작동한다고 하네요.
![Alternative](https://meeco.kr/files/member_extra_info/profile_image/873/376/028/28376873.jpg?20210409232737)
![Alternative](https://meeco.kr/files/member_extra_info/profile_image/873/376/028/28376873.jpg?20210409232737)
아 제가 말이 좀 짧았네요.
현재 소비자 중심의 소위 'AI 기능'이라고 말하는 것들 중 대부분은 기기 자체 칩셋의 NPU를 사용하지 않고 기존의 CPU/GPU를 사용하는 전통적 방법의 코드베이스를 사용하거나 클라우드로 전송 후 데이터센터에서 처리하는 방식을 쓰면서
각 제조사들은 새로운 칩셋을 발표할 때마다 CPU/GPU의 성능 부족을 감추기 위해 소비자에게 별 득이 될 것 없는 'NPU 성능 500% 증가' 등의 홍보문구로 소비자들을 현혹하는 현 세태를 비판하기 위해 쓴 말이었습니다.
현재 각 메이저 제조사들의 칩셋에 포함된 NPU는 서로 완전히 다르고 독자적인 아키텍쳐를 사용하면서도 서드파트에서 사용할 수 있는 API를 거의 공개하고 있지 않은 상황이라 소비자들 입장에서는 제조사 앱 이외에는 거의 성능 활용을 하지 못하고 있습니다.
갤럭시 s10에도 npu가 내장되었단 사실 아시나요?
이미 실생활에 크게 이용되고 있었습니다.
api는 퀄컴이 적극적으로 공개하는 추세입니다
![Alternative](https://meeco.kr/files/member_extra_info/profile_image/873/376/028/28376873.jpg?20210409232737)
각 제조사들은 자기 칩셋의 기능을 시스템 앱에서 사용 중이었죠. 그것조차도 안 하면 그저 모래낭비였겠죠... 제가 알기론 카메라에서 ISP의 기능 중 일부를 카메라에서 사용 중인걸로 알고 있는데, 그 말곤 모르겠네요. 반대로 S10부터 지금까지 NPU가 있었는데도 그 기능을 활용하는 앱이 하나도 없는 거군요.
현재 구글이나 플레이스토어에서 검색해봐도, 가장 인기있는 모바일 칩셋인 스냅드래곤에 탑재된 NPU를 활용하는 앱을 찾을 수 없었습니다. 구글 일부 검색결과에서 퀄컴이 올려놓은 샘플 앱을 빌드하기 위한 깃허브만 있었네요. 혹시 시스템 앱이 아닌 서드파티 앱 중에서 NPU를 활용하는 앱이 있다면 알려 주시면 감사드리겠습니다.
참고로 애플 진영에서는 Neural Engine(CoreML)을 쓰는 앱들이 더러 있네요.
https://apps.apple.com/kr/app/waifu2x/id1286485858
![Oxc.suga](https://meeco.kr/files/member_extra_info/profile_image/936/318/035/35318936.png?20220912192208)
맞습니다. 맞긴 한데... NPU가 다이만 끌어먹고 쓸 데가 없다는 비판점은 약간 어폐가 있지만 가장 큰 문제점은 말씀하신 지원 문제, 칩 API 공개가 '전혀' 일어나고 있지 않은 현실이 참 갸우뚱하게 만드는 면이 있습니다. 삼성만 봐도 카메라 알고리즘이 불완전하지만, NPU 연산 알고리즘이 알려져 있지 않으니 다른 옵션이 주어지지 않는 것도 일맥상통하죠.
(심지어) ARM 개발 보드들의 마케팅 포인트 중 하나가 (예를 들면)4TOPs, 5TOPs 등의 NPU를 통한 ML 연산 성능이지만, 정작 기능 개방이 안되어 있으니 이건 뭐 숫자 놀음이지 않나 싶기도 하죠.
이런 부분에서 애플의 ML 지원, CoreML이 무려 A11 바이오닉(17"...!)부터 이어져온 걸 보면 애플이 어느 정도 개발자 친화적 성격을 띈다는 게 드러납니다. (스포티파이라던가 뭔 에픽이라던가 뭔 하는 것들은 돈이 얽힌 문제인지라...)
![Alternative](https://meeco.kr/files/member_extra_info/profile_image/873/376/028/28376873.jpg?20210409232737)
기존 npu를 시스템 제조사 앱 말고 쓸 필요가 있었는가?, 그 필요성이 파편화를 감당할 만큼 큰가? 라는 질문에 답하면 굳이 싶죠.
예를 들어 콴다에 npu를 통한 ocr과 자연어 처리 기능을 구현한다고 가정합시다. 사용자 기기가 스냅인가, 엑시인가, 디멘시티인가, 텐서인가 따라 다 다를 것이고, 8gen1, 8gen2 등등 같은 스냅에서도 파편화가 상당할텐데 약간의 성능 향상보단 개발 편의성에 따를 겁니다. 그러니 서드파티 앱에서 npu를 쓰는 경우가 거의 없었던 거구요.
그러나 지금은 다르다고 봅니다. 오늘날 모델의 크기가 상당히 큰편이고 여러 모델을 복합적으로 이용하는 멀티 모달이 등장한 시점에서 cpu와 gpu만의 처리는 상당히 비효율적입니다. 때문에 npu 수요가 전보다 커졌음이 분명하고 이에 퀄컴이 모델을 공개하여 사용을 장려하고 있죠.
대표적으로 스테이블 디퓨전의 경우 gpu로 처리하기 상당히 무거운 모델입니다. npu를 이용하면 이러한 부담을 덜 수 있겠죠.
![Alternative](https://meeco.kr/files/member_extra_info/profile_image/873/376/028/28376873.jpg?20210409232737)
일단 소비자용 시장에서 유의미한 NPU 사용을 하는 앱을 만드려면 말씀하신데로 파편화를 해결해야 하죠. 당장 PC쪽만 해도 엔비디아, AMD, 인텔 등등이 다 각자 규격으로 ML 라이브러리를 만들다가 비엔비디아 진영이 합쳐진 지가 얼마 되지 않았죠. NPU 사용량이 많고 활용성도 무궁무진한 PC 시장이 겨우 걸음마를 땐 정도인데, 각자 잇속이 가득한 모바일 시장은 얼마나 걸릴지...
게다가 해결한다고 해도, 거대한 모델을 굴리는 데에는 클라우드 처리 방식이라는 커다란 경쟁자가 있죠. 사용자 관리가 간편하고 수익 창출도 더 용이한...
전력 소비나 반응성의 측면에서 소형 모델을 굴리기에는 적합하지만, 현재로선 OpenAI가 4o같은 몬스터 모델을 무료로 공개하고 있기도 하고, 소형 모델의 사용처가 분명치 않은 것도 사실이고요. 여러모로 활용처를 아직 잘 못 찾고 있습니다.
파편화가 해결되고 통일된 개발환경이 나올 때 쯤이면 현재의 NPU들은 전부 obsolete해질 것도 불 보듯 뻔하고요...
![Alternative](https://meeco.kr/files/member_extra_info/profile_image/873/376/028/28376873.jpg?20210409232737)
![엑시용용이](https://meeco.kr/files/member_extra_info/profile_image/322/525/033/33525322.jpg?20210926232027)
![Oxc.suga](https://meeco.kr/files/member_extra_info/profile_image/936/318/035/35318936.png?20220912192208)
맞습니다. "The NPU offers 6.5 TOPS of AI compute power, a minor improvement (up from 5 TOPS)". 45TOPs에 비해선 상당히 아쉬워보이나 존재하긴 합니다. 애초에 7시리즈라서 안 들어가는게 더 이상하긴 하죠...
(https://www.gsmarena.com/the_snapdragon_8cx_gen_3_is_the_first_5nm_chipset_for_windowsonarm_laptops_7c_gen_3_tags_along-news-52015.php)
![Fluent](https://meeco.kr/files/member_extra_info/profile_image/300/632/038/38632300.jpg?20240415214855)
![EricCartman](https://meeco.kr/files/member_extra_info/profile_image/456/537/025/25537456.png?20190919204608)
![Magyarország](https://meeco.kr/files/member_extra_info/profile_image/873/988/024/24988873.jpg?20240627182332)
![aWorld](https://meeco.kr/files/member_extra_info/profile_image/467/402/030/30402467.jpg?20201208111230)
어차피 NPU 그거 스캠이라니깐요