미니기기 코리아

로그인 해주세요.

미니기기 / 음향 *스마트폰과 PC, 음향제품 등 IT에 관해 교류하는 게시판입니다.

LaPL

미니 NPU라 하는 물건은....

  • LaPL
  • 조회 수 857
  • 2021.01.13. 00:08

저도 배우는 입장에서 약간의 첨언을 (알쓸신잡 수준으로)드리면, NPU는 기존의 DSP,ISP랑 별 차이 없는 원리와 동작형태를 보여주고 있습니다. 

 

Ti의 DSP는 OpenCL을 동작할 정도로 범용성을 띄지만 본래 이런 회로들은 ASIC과 같이 특정 영역의 연산만을 전담해서 CPU의 부하를 줄이는 목적입니다. (즉 로직으로 찍어낸 연산만이 가능....)

 

NPU라고 거창하게 붙인건 해당 로직의 동작이 Ai....특히 Deep learning에서 주로 사용되는 곱셈 후 누산(FMA)연산에 특화되어있고 사용을 위한 API도 그러합니다. 

 

현재 코드상에서 NPU를 사용하는 대부분의 방법은, 외부 Deep Learning모델을 가져와서 추론시 부가 옵션으로 동작하게 구성되어있으며 다시 말하면 절대적으로 현재는 추론시에만 사용됩니다. 이는 다양한 Deep Learning 모델의 학습(Training)시 사용되는 복잡한 forward&backward path를 제한적인 회로에서 진행하기 힘들기에....

 

또한 대부분 현실적인 문제로 32비트 float가 아닌 float16이나 int8로 양자화(quantization)된 모델에서 동작하는것이 거의 강제됩니다. (Nvidia의 TensorRT나 구글의 TF-Lite)  이는 Deep Learning이 추론 단계에서는 대략적인 minimum근처에서 수렴하는 값 정도만 도출해도 어지간하면 쓸만한 결과가 나오기 때문인데....(data의 정밀도가 높을 필요가 없음) 그렇기에 태생부터 다른 연산에 써먹기 애매한 상황이죠. (Ai빼고 float16이나 int8을 써먹는 연산이 거의 없....)

 

지금은 NPU가 ARM AP들에 유행처럼 들어가는데(주로 저가인 Rockchip, Amlogic칩셋에도 들어가더군요....) 사실 사용처는 매우 제한되는 상황입니다(...) 범용으로 잘 쓰려면 API만드는 쪽에서 잘 해줘야 비벼라도 보는.... 

 

p.s 아래는 Nvidia의 Tegra Xavier에 들어간 NPU입니다. Xavier는 GPU+NPU(mp2-5TOPs/NPU)로 32TOPs라고 합니다.(8bit정수기준) 엑시 2100은 NPU혼자서 26TOPs는 충분히 높기는 합니다만, 기본적으로 ASIC과 같이 게이트를 직접하는 만큼 나오는 성능이라서 5nm가 좋기는 좋네요. 

feqLzpR.png

댓글
14
aleji
1등 aleji
2021.01.13. 00:09

일단 맞습니다

[aleji]님의 댓글을 신고합니다. 취소 신고
Havokrush
best 2등 Havokrush
2021.01.13. 00:09

비슷한 연산을 해도 별개의 프로세서 유닛이 있으면 분담되는 건 사실이죠.

[Havokrush]님의 댓글을 신고합니다. 취소 신고
보거
3등 보거
2021.01.13. 00:10

정보추!

[보거]님의 댓글을 신고합니다. 취소 신고
미니네임
미니네임
2021.01.13. 00:13

걍 엔당 텐사코어 rt코어 있드시 따로 처리하는부분 있는거

[미니네임]님의 댓글을 신고합니다. 취소 신고
LaPL
글쓴이
LaPL 미니네임 님께
2021.01.13. 00:19

차이가 있다면, 텐서 코어나 RT코어는 CPU의 SIMD명령과 비슷하게 한 번에 Vector형 데이터를 처리하는데 특화된 라인을 ALU에 묶어 GPU를 구성해서 CUDA나 OpenCL과 같은 방법으로 프로그래머가 성능향상을 위한 다른 코딩에 활용할 여지가 있다면, NPU는 AP제조사가 만들어둔 API외 다른 작업을 할당하기 거의 불가합니다. 

[LaPL]님의 댓글을 신고합니다. 취소 신고
Ent323
Ent323
2021.01.13. 00:16

NPU는 비교적 설계 난이도가 낮아서인지 DesignWare같은 범용IP에서도 기본적으로 제공해주더군요

[Ent323]님의 댓글을 신고합니다. 취소 신고
LaPL
글쓴이
LaPL Ent323 님께
2021.01.13. 00:21

사실 지금도 FPGA좀 만져봤다는 컴퓨터 랩이면 NPU만드는게 유행처럼 지나고 있습니다....

[LaPL]님의 댓글을 신고합니다. 취소 신고
Ent323
Ent323 LaPL 님께
2021.01.13. 00:25

MAC 로직자체는 되게 간단하니까요 ㅎ

[Ent323]님의 댓글을 신고합니다. 취소 신고
Alternative
Alternative
2021.01.13. 00:16

결국은 그걸 소프트웨어 단에서 어떤 작업에서 얼마나 잘 활용하느냐가 주가 되죠. 아직까진 (iOS도 그렇지만 특히 안드에서) 사용처가 극히 제한적이고요...

[Alternative]님의 댓글을 신고합니다. 취소 신고
포인트봇
포인트봇 Alternative 님께
2021.01.13. 00:16
Alternative 님, 1포인트 채굴 성공!
[포인트봇]님의 댓글을 신고합니다. 취소 신고
LaPL
글쓴이
LaPL Alternative 님께
2021.01.13. 00:26

그리고...이넘의 안드가 가상머신 기반이라서.....;;; 

iOS쪽은 애플이 API를 잘 짜주면 네이티브로 돌아갈 여지라도 있다면, 안드로이드는 필수적으로 NDK를 통한 JNI(Java Native Interface)사용이 강제됩니다. 경험상 한 번 Wrapping된 JNI를 콜 하는데 막대한 클럭 손실이 있어서.... 아무 생각 없이 쓰면 성능이 오히려 안 나오더군요(...)

[LaPL]님의 댓글을 신고합니다. 취소 신고
Aimyon
Aimyon
2021.01.13. 00:39

아 그래서 이런 걸 연구하는군요... 도움이 많이 됐습니다 선생님!

 

0701ondeviceai8.jpg

[Aimyon]님의 댓글을 신고합니다. 취소 신고
개구리
개구리
2021.01.13. 00:49

잘 설명해주셨군용👍🏻

[개구리]님의 댓글을 신고합니다. 취소 신고
콘칩
콘칩
2021.01.13. 08:54

요즘은 학부 수준에서도 npu 만들기를 관련 과목에서 프로젝트로 시킵니다

[콘칩]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 공지 코드리스 관련 글은 음향 분류로 작성해주십시오. [12] admin 19.10.29 5 6250
공지 미니 사이트 이용 수칙 201218 수정 file admin 18.08.04 10 29567
핫글 미니 이제 일반인이라고 극한으로 성능 쓰는 걸 못 느낀다는 건 안되는 게 [6] Alternative 21.01.18 24 1072
핫글 미니 결국 카카오톡이 해냈군요 [14] file 프로입털러 21.01.18 23 1315
101357 미니 갤탭 s8 2100x로 나오면 ㄷㄷㄷ [3] nicksuh 21.01.13 0 544
101356 미니 s21u 카메라 s20 대비 어떤가요? [12] 실론 21.01.13 0 426
101355 미니 퀄컴 가격가성비로 승부보는날이 올지도모르겟군요 [2] S22울트라존버 21.01.13 0 306
미니 NPU라 하는 물건은.... [14] file LaPL 21.01.13 12 857
101353 미니 갤탭S8에 2100 안 넣어주나여? [8] Kiav 21.01.13 1 430
101352 미니 제발 전성비랑 대기전력좀 잡고 나왔으면 좋겠네요. [2] 크나앙 21.01.13 1 293
101351 미니 엑시 1080처럼 중국시장 겨냥한 2200 마이너버전도 나오나요? [5] embleton 21.01.13 3 431
101350 미니 아까 전글 지운거 죄송합니다 [3] S7엣지 21.01.13 2 371
101349 미니 갤21 원신 테스트 빨리 보고 싶네요 ㅋㅋㅋ [1] 응애나아기미붕이 21.01.13 1 368
101348 미니 일단 표기 스펙은 잘나온건 다들 부정못하실겁니다. [12] 흡혈귀왕 21.01.13 12 987
101347 미니 퀄컴이 최대 피해자죠 [3] Thomasp5675 21.01.13 6 735
101346 미니 엑시 죽쑬때 퀄컴이 배짱 잘부렸죠. [2] embleton 21.01.13 3 564
101345 미니 Game Changer [2] Havokrush 21.01.13 1 427
101344 미니 이글에 대해서 어떻게 보시나요? [35] S7엣지 21.01.12 1 698
101343 미니 갤탭에 엑시노스 들어가면 어우.. [4] 도깨비 21.01.12 4 519
101342 미니 udc는 s22보다는 s23이 가능성높죠? [4] lalopp 21.01.12 0 360
101341 미니 만약 미래에 전량 엑시면 퀄컴이 큰일나겠네요 [13] 대왕오징어 21.01.12 4 642
101340 미니 카카오톡 이모티콘 구독서비스 나왔네요 [1] file 버르닝 21.01.12 2 268
101339 미니 990은 실성능은 떨어지면서 또 피크성능은 좋은것마저 애물단지죠 [2] file aleji 21.01.12 3 421
101338 미니 엑시노스2100의 경우 AMIGO로 게이밍시 안정적인 프레임유지 강조하는군요. [4] 흡혈귀왕 21.01.12 3 618

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...