• 엔비디아에서 최소 8GB 이상 VRAM이 탑재된 지포스 RTX 30 시리즈 이상 그래픽 카드가 장착된 윈도우 11 이상 OS 기반 PC에서 구동되는 개인용 챗봇 서비스인 '챗 위드 RTX'를 공개했습니다.

• 챗 위드 RTX는 검색 증강생성(RAG), 엔비디아 텐서RT-LLM(TensorRT-LLM) 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 로컬 지포스 기반 윈도우 PC에 생성형 AI 기능을 제공합니다.

• 사용자는 PC의 로컬 파일을 데이터셋으로 미스트랄(Mistral)이나 라마 2(Llama 2)와 같은 오픈소스 LLM(대규모 언어 모델)에 연결해 상황에 맞는 빠른 답변을 얻을 수 있으며, 다양한 파일 형식을 지원합니다.

• 챗 위드 RTX는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행되고, 사용자 데이터는 디바이스에 그대로 유지되므로 민감한 데이터를 제3자와 공유하거나 인터넷에 연결하지 않고도 처리할 수 있습니다.