소식 AMD, 자사 CPU/GPU서 실행 가능한 LLM 챗봇 공개...엔비디아 Chat with RTX 경쟁
- BarryWhite
- 조회 수 151
- 2024.03.07. 10:43
- AMD는 GPT 기반 LLM(대규모 언어 모델)으로 구동되는 자체 현지화된 챗봇을 도입하여 NVIDIA의 Chat with RTX에 대한 대안을 제시했습니다.
- 이 챗봇은 XDNA NPU가 탑재된 Ryzen 7000 및 Ryzen 8000 APU가 탑재된 Ryzen AI PC와 AI 가속기 코어가 탑재된 Radeon 7000 GPU를 포함한 다양한 AMD 하드웨어에서 실행할 수 있습니다.
- AMD는 챗봇 실행을 위해 하드웨어를 활용할 수 있는 설정 가이드를 제공하며, 여기에는 Ryzen AI CPU 및 Radeon RX 7000 시리즈 그래픽 카드 모두에 대한 지침이 포함되어 있습니다.
- 사용자는 미스트랄 7b 및 LLAMA v2 7b와 같이 사전 학습된 다양한 모델 중에서 선택하고 필요한 모델 파일을 다운로드할 수 있습니다.
- 챗봇은 LM Studio 애플리케이션을 통해 액세스할 수 있으며, 사용자는 AI 언어 모델에서 생성된 쿼리를 입력하고 응답을 받을 수 있습니다.
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
프로필 속 고양이는 저와 함께 살고 있습니다.
댓글
0
