소식 엔비디아, 개인용 챗봇 서비스 챗 위드 RTX 공개
- BarryWhite
- 조회 수 172
- 2024.02.14. 13:32
• 엔비디아에서 최소 8GB 이상 VRAM이 탑재된 지포스 RTX 30 시리즈 이상 그래픽 카드가 장착된 윈도우 11 이상 OS 기반 PC에서 구동되는 개인용 챗봇 서비스인 '챗 위드 RTX'를 공개했습니다.
• 챗 위드 RTX는 검색 증강생성(RAG), 엔비디아 텐서RT-LLM(TensorRT-LLM) 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 로컬 지포스 기반 윈도우 PC에 생성형 AI 기능을 제공합니다.
• 사용자는 PC의 로컬 파일을 데이터셋으로 미스트랄(Mistral)이나 라마 2(Llama 2)와 같은 오픈소스 LLM(대규모 언어 모델)에 연결해 상황에 맞는 빠른 답변을 얻을 수 있으며, 다양한 파일 형식을 지원합니다.
• 챗 위드 RTX는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행되고, 사용자 데이터는 디바이스에 그대로 유지되므로 민감한 데이터를 제3자와 공유하거나 인터넷에 연결하지 않고도 처리할 수 있습니다.
🥇소식게 수호자🥇미게 지박령🥉큰게 좋아🥇미코의 잡담왕🥈유게 공무원🥉할인 경보📝게시판 소유자✨️🥉에로게 심심이
댓글
0