UC 산타크루즈 대학의 연구진들이 기존 데이터센터 GPU 대비 전력 소모량을 최대 50배까지 줄이면서도 성능 저하 없는 대규모 언어 모델(LLM) 구동 기술을 개발했습니다.

이 기술은 100W 백열전구와 비슷한 수준인 13W의 전력만으로도 LLM 구동이 가능하게 합니다. 참고로 엔비디아의 H100, H200 등 데이터센터용 GPU는 700W, 차세대 모델인 B200은 GPU당 최대 1200W의 전력을 소비합니다.

연구진들은 LLM 학습 및 추론 과정에서 행렬 곱셈(MatMul)을 제거하는 방식으로 전력 소모량 감소를 달성했습니다. 이들은 숫자 체계를 -1, 0, 1을 사용하는 '3진법'으로 변환하여 곱셈 연산 없이 덧셈만으로 계산이 가능하도록 했습니다.

또, 시간 기반 연산 방식을 도입하여 네트워크에 효과적인 '메모리' 기능을 제공함으로써 더 적은 연산으로도 빠른 처리 속도를 구현했습니다.

이 기술은 오픈소스 소프트웨어와 기존 시스템의 일부 수정을 통해 적용 가능하며, UC 산타크루즈 연구진들은 연구에 사용된 모델을 오픈소스로 공개했습니다.

이 연구는 AI 업계의 과도한 전력 사용 경쟁에 경종을 울리는 동시에, 효율적인 AI 처리 기술 개발의 중요성을 시사합니다. 전문가들은 현재 추세대로라면 2030년까지 AI 전력 사용량이 미국 전체 전력의 4분의 1을 차지할 수 있다고 경고한 바 있습니다.

탐스하드웨어는 이 연구 결과가 널리 활용될 경우, AI가 인간 뇌 수준의 기능에 도달하는 데 한 걸음 더 가까워질 것이라고 기대했습니다.