엔비디아가 소비자 PC에서 대형언어모델(LLM)의 성능을 향상하도록 설계한 새로운 소프트웨어 도구를 출시했다. 이를 통해 저사양 GPU에 대한 접근성을 높여 PC는 물론 스마트 장치에서 가동하는 '온디바이스 AI' 기술 보편화를 가속하겠다는 구상이다.

엔비디아는 17일(현지시간) 이전에 데이터 센터용으로 출시한 ‘텐서RT-LLM(TensorRT-LLM)’ 오픈 소스 라이브러리를 이제 윈도우 PC에서도 사용할 수 있다고 블로그를 통해 발표했다.

이에 따르면 텐서RT-LLM을 사용하면 엔비디아의 '지포스 RTX' GPU가 있는 윈도우 PC에서 LLM을 최대 4배 더 빠르게 실행할 수 있다.

앞서 엔비디아는 지난달 'A100' 및 'H100' 등 데이터센터용 GPU에서 LLM 추론을 가속화하고 최적화하는 텐서RT-LLM을 공개했다. 텐서RT-LLM을 적용하면 추론 성능을 H100는 2배, A100은 4.6배까지 가속할 수 있다.

이번 출시로 텐서RT-LLM을 소비자 PC용 RTX GPU에도 적용할 수 있게 된 것이다.