소식 인텔, NPU 가속 라이브러리 오픈소스화
- BarryWhite
- 조회 수 358
- 2024.03.03. 07:25
- 인텔은 개발자가 인텔의 AI 엔진에 맞게 애플리케이션을 최적화할 수 있도록 NPU 가속 라이브러리를 오픈 소스로 공개했습니다. 이 라이브러리는 높은 수준의 인터페이스를 제공하여 개발을 간소화하고 TensorFlow 및 PyTorch와 같은 인기 있는 프레임워크를 지원하여 AI 관련 작업에 인텔의 NPU를 더 쉽게 활용할 수 있도록 합니다.
- 이 라이브러리는 인텔 코어 울트라 CPU가 탑재된 MSI 프레스티지 16 AI Evo 노트북에서 테스트되어 엣지 AI 환경에 대한 잠재력을 입증했습니다. 라이브러리의 주요 기능으로는 8비트 및 4비트 양자화, NPU 네이티브 혼합 정밀도 추론, Float16 및 BFloat16 지원, torch.compile 지원, LLM MLP 수평 융합 구현, 정적 모양 추론, MHA NPU 추론, NPU/GPU 헤테로 컴퓨팅이 있습니다.
- 이번 오픈 소스 릴리스는 인텔의 전용 AI 엔진에서 AI 애플리케이션의 향상된 구현을 약속하며, 이 분야의 향후 발전에 대한 흥미로운 전망을 제시합니다.
- NPU 가속 라이브러리를 오픈소스화하려는 인텔의 노력은 AI 개발의 민주화 추세에 발맞춰 더 많은 개발자 커뮤니티가 AI 기술 발전에 기여할 수 있도록 지원합니다.
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
댓글
0
