로그인 해주세요.

미니기기 / 음향 게시판 *스마트폰과 PC, 카메라, 스피커 등 IT 미니기기와 음향기기에 관해 교류하는 게시판입니다.

LaPL

미니 NPU라 하는 물건은....

  • LaPL
  • 조회 수 1543
  • 2021.01.13. 00:08

저도 배우는 입장에서 약간의 첨언을 (알쓸신잡 수준으로)드리면, NPU는 기존의 DSP,ISP랑 별 차이 없는 원리와 동작형태를 보여주고 있습니다. 

 

Ti의 DSP는 OpenCL을 동작할 정도로 범용성을 띄지만 본래 이런 회로들은 ASIC과 같이 특정 영역의 연산만을 전담해서 CPU의 부하를 줄이는 목적입니다. (즉 로직으로 찍어낸 연산만이 가능....)

 

NPU라고 거창하게 붙인건 해당 로직의 동작이 Ai....특히 Deep learning에서 주로 사용되는 곱셈 후 누산(FMA)연산에 특화되어있고 사용을 위한 API도 그러합니다. 

 

현재 코드상에서 NPU를 사용하는 대부분의 방법은, 외부 Deep Learning모델을 가져와서 추론시 부가 옵션으로 동작하게 구성되어있으며 다시 말하면 절대적으로 현재는 추론시에만 사용됩니다. 이는 다양한 Deep Learning 모델의 학습(Training)시 사용되는 복잡한 forward&backward path를 제한적인 회로에서 진행하기 힘들기에....

 

또한 대부분 현실적인 문제로 32비트 float가 아닌 float16이나 int8로 양자화(quantization)된 모델에서 동작하는것이 거의 강제됩니다. (Nvidia의 TensorRT나 구글의 TF-Lite)  이는 Deep Learning이 추론 단계에서는 대략적인 minimum근처에서 수렴하는 값 정도만 도출해도 어지간하면 쓸만한 결과가 나오기 때문인데....(data의 정밀도가 높을 필요가 없음) 그렇기에 태생부터 다른 연산에 써먹기 애매한 상황이죠. (Ai빼고 float16이나 int8을 써먹는 연산이 거의 없....)

 

지금은 NPU가 ARM AP들에 유행처럼 들어가는데(주로 저가인 Rockchip, Amlogic칩셋에도 들어가더군요....) 사실 사용처는 매우 제한되는 상황입니다(...) 범용으로 잘 쓰려면 API만드는 쪽에서 잘 해줘야 비벼라도 보는.... 

 

p.s 아래는 Nvidia의 Tegra Xavier에 들어간 NPU입니다. Xavier는 GPU+NPU(mp2-5TOPs/NPU)로 32TOPs라고 합니다.(8bit정수기준) 엑시 2100은 NPU혼자서 26TOPs는 충분히 높기는 합니다만, 기본적으로 ASIC과 같이 게이트를 직접하는 만큼 나오는 성능이라서 5nm가 좋기는 좋네요. 

feqLzpR.png

댓글
14
aleji
1등 aleji
2021.01.13. 00:09

일단 맞습니다

[aleji]님의 댓글을 신고합니다. 취소 신고
Havokrush
2등 Havokrush
2021.01.13. 00:09

비슷한 연산을 해도 별개의 프로세서 유닛이 있으면 분담되는 건 사실이죠.

[Havokrush]님의 댓글을 신고합니다. 취소 신고
보거
3등 보거
2021.01.13. 00:10

정보추!

[보거]님의 댓글을 신고합니다. 취소 신고
미니네임
미니네임
2021.01.13. 00:13

걍 엔당 텐사코어 rt코어 있드시 따로 처리하는부분 있는거

[미니네임]님의 댓글을 신고합니다. 취소 신고
LaPL
글쓴이
LaPL 미니네임 님께
2021.01.13. 00:19

차이가 있다면, 텐서 코어나 RT코어는 CPU의 SIMD명령과 비슷하게 한 번에 Vector형 데이터를 처리하는데 특화된 라인을 ALU에 묶어 GPU를 구성해서 CUDA나 OpenCL과 같은 방법으로 프로그래머가 성능향상을 위한 다른 코딩에 활용할 여지가 있다면, NPU는 AP제조사가 만들어둔 API외 다른 작업을 할당하기 거의 불가합니다. 

[LaPL]님의 댓글을 신고합니다. 취소 신고
Ent323
Ent323
2021.01.13. 00:16

NPU는 비교적 설계 난이도가 낮아서인지 DesignWare같은 범용IP에서도 기본적으로 제공해주더군요

[Ent323]님의 댓글을 신고합니다. 취소 신고
LaPL
글쓴이
LaPL Ent323 님께
2021.01.13. 00:21

사실 지금도 FPGA좀 만져봤다는 컴퓨터 랩이면 NPU만드는게 유행처럼 지나고 있습니다....

[LaPL]님의 댓글을 신고합니다. 취소 신고
Ent323
Ent323 LaPL 님께
2021.01.13. 00:25

MAC 로직자체는 되게 간단하니까요 ㅎ

[Ent323]님의 댓글을 신고합니다. 취소 신고
Alternative
Alternative
2021.01.13. 00:16

결국은 그걸 소프트웨어 단에서 어떤 작업에서 얼마나 잘 활용하느냐가 주가 되죠. 아직까진 (iOS도 그렇지만 특히 안드에서) 사용처가 극히 제한적이고요...

[Alternative]님의 댓글을 신고합니다. 취소 신고
포인트봇
포인트봇 Alternative 님께
2021.01.13. 00:16
Alternative 님, 1포인트 채굴 성공!
[포인트봇]님의 댓글을 신고합니다. 취소 신고
LaPL
글쓴이
LaPL Alternative 님께
2021.01.13. 00:26

그리고...이넘의 안드가 가상머신 기반이라서.....;;; 

iOS쪽은 애플이 API를 잘 짜주면 네이티브로 돌아갈 여지라도 있다면, 안드로이드는 필수적으로 NDK를 통한 JNI(Java Native Interface)사용이 강제됩니다. 경험상 한 번 Wrapping된 JNI를 콜 하는데 막대한 클럭 손실이 있어서.... 아무 생각 없이 쓰면 성능이 오히려 안 나오더군요(...)

[LaPL]님의 댓글을 신고합니다. 취소 신고
Aimyon
Aimyon
2021.01.13. 00:39

아 그래서 이런 걸 연구하는군요... 도움이 많이 됐습니다 선생님!

 

0701ondeviceai8.jpg

[Aimyon]님의 댓글을 신고합니다. 취소 신고
개구리
개구리
2021.01.13. 00:49

잘 설명해주셨군용👍🏻

[개구리]님의 댓글을 신고합니다. 취소 신고
콘칩
콘칩
2021.01.13. 08:54

요즘은 학부 수준에서도 npu 만들기를 관련 과목에서 프로젝트로 시킵니다

[콘칩]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 공지 사이트 이용 수칙 230228 수정 file admin 18.08.04 111857 13
핫글 미니 굳뉴스! [12] file 샐리 12:48 806 15
핫글 미니 s24 사자마자 돌렸었던 생성형 AI [14] file SeoH 24.03.28 1438 12
핫글 미니 엑스페리아를 응원하는 모임에서 나왔습니다 [3] updatefile 마키세크리스 13:29 292 11
211487 미니 근데 미코분들은 왜이렇게 카톡을 싫어하시나요? [36] 오레오가좋아 22.04.14 2376 101
211486 미니 자체 제작한 광고차단 DNS 공개합니다 [67] 시엠 21.12.08 7751 97
211485 미니 결정! 씨샾 Gcam config 파일 영구공유 (23울트라) [39] 씨샾 23.09.09 5528 90
211484 미니 찌라시)삼성 파운드리 갤럭시s22 GPU클럭 및 CPU클럭 달성실패 [19] 장준후 22.02.07 2894 80
211483 미니 가장 싫어하는 테크 유튜버 [40] file 시스템모니터 21.09.21 3448 78
211482 미니 오늘 엄마가 애플과 사랑에 빠진 썰.txt [17] JamesBlake 21.10.09 2122 75
211481 미니 어휴 이제 좀 그만하세요. [32] 오레오가좋아 22.08.01 2489 73
211480 미니 GOS 소송 카페 운영자입니다. 감사드립니다. [20] 오키도 22.03.14 2922 73
211479 미니 아이폰12프맥 디스플레이 잔상 관련 센터 방문후기 [68] 릅갈통 21.08.10 5819 70
211478 미니 GOS 공지와 삼성 멤버스 답변으로 본 '언어'에 대한 이야기 [31] file Rx-Tx 22.03.06 3182 68
211477 미니 삼성은 이젠 기능 말고 '사용 경험'에 초점을 맞춰야 합니다. [29] Daylight 23.08.11 4440 67
211476 미니 효자 추 받고싶어요 [40] file 아이폰13프로 22.06.04 2619 67
211475 미니 [속보] 복잡하긴 한데 GOS 뚫었읍니다!!! [31] file RoseBlue 22.02.28 2768 66
211474 미니 계속되는 유출! 삼성, 가만히 있어서는 안됩니다! [14] ONNURI 23.07.05 2333 64
211473 미니 노하는건 태도의 문제다. [14] file MysticCat 22.03.07 2782 64
211472 미니 당당)추천박아주십시오 [13] file 파라볼리카 21.02.10 1088 63
211471 미니 사과문 [1] 종이상자 21.01.13 1744 63
211470 미니 현직입장에서 [28] 하드웨어매니악 23.10.07 2325 62
211469 미니 미코 대표 스피커 입니다 [9] file 씨샾 22.03.16 2325 62
211468 미니 원가절감을 안했어야 칩셋 억울하다할 명분이 서죠 [17] file 고송 22.03.08 2383 62
211467 미니 찌라시)갤럭시 s22 카메라 품질 관련 [28] 장준후 21.12.22 2519 62
211466 미니 왈왈 멍멍 크르르르 [27] file 이태리밤고구마 22.02.10 1634 61
211465 미니 S20시리즈 QHD+에서 120Hz 강제설정 후기 [17] file 점장 21.01.18 7491 61
211464 미니 미코 1호인가요.... 이..이게아닌가...? [21] file 미기코리아 23.02.08 2012 59
211463 미니 좀 심각한데요;;ㅇㅎㅎㅎ [17] 성당기사단장 22.03.09 3146 59

추천 IT 소식 [1/]

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...