AMD가 자사 AI 가속기 개발 소프트웨어 'AMD ROCm 6.2 오픈 스택' 최신 버전을 7일 공개했다.

이번 버전은 AMD 인스팅트 제품 성능과 효율성 향상에 초점을 맞췄다. AMD는 엔비디아 소프트웨어 '쿠다(CUDA)'에 대응해 락인 없이 AI 개발자가 활용할 수 있도록 자사 AMD ROCm를 오픈소스로 공개하고 확장성을 높이고 있다.

가장 두드러진 개선 사항으로는 AI 가속기에서 AI 모델 효율성과 확장성을 향상시키기 위해 vLLM 지원을 확대했다. vLLM은 AI 모델 추론 속도를 높여주는 모델 서빙 프레임워크를 말한다. AMD는 이번 버전에서 다중 GPU 실행 및 FP8 KV 캐시와 같은 업스트림 vLLM 기능을 활성화했다.

또 ROCm/vLLM 브랜치로 FP8 GEMM 및 사용자 지정 디코드 페이지 경고와 같은 고급 실험적 기능도 제공한다.