구글 딥마인드가 LLM(대규모 언어 모델)의 고질적 문제이 사실적 오류 및 논리적 오류를 줄이기 위해, 자체 검증 모델인 GenRM을 개발했습니다.

벤처비트는 3일(현지 시각) 딥마인드가 캐나다 토론토 대학교, 밀라 연구소, UCLA와 공동으로 진행한 연구 결과를 소개하며 GenRM이 LLM의 정확성을 향상시키는 새로운 접근 방식이라고 보도했습니다.

기존의 검증 모델은 LLM이 생성한 여러 답변 중 가장 정확한 답변을 선택하는 데 사용됐습니다. 하지만, LLM의 텍스트 생성 능력을 충분히 활용하지 못한다는 한계가 있었습니다.

딥마인드의 선임 연구원이자 이 논문의 공동 저자인 리샤브 아가르왈은 "기존의 보상 모델(RM) 또는 검증 모델은 LLM을 미세 조정해 훈련됐지만, LLM이 기본적으로 설계된 텍스트 생성 기능을 활용하지 못한다"고 지적했습니다.

반면 GenRM은 LLM의 텍스트 생성 기능을 활용하여 보다 효과적인 검증 모델을 만드는 새 접근 방식입니다. GenRM은 차세대 토큰 예측을 사용해 훈련되므로 LLM의 다양한 이점을 활용할 수 있습니다.

GenRM은 검증 결정을 토큰으로 표현해 솔루션에 대한 숫자 점수를 생성합니다. 예를 들어, 검증자가 "답변이 맞습니까?"라는 프롬프트를 사용하고 컨텍스트와 프롬프트 아래에서 단일 텍스트 토큰("예" 또는 "아니요")의 확률로 점수를 나타냅니다.

특히 GenRM은 '사고의 연쇄(CoT)' 추론이라는 고급 프롬프트 기술을 통해 검증 정확도를 향상시킵니다. CoT는 모델이 답변을 하기 전에 사고 과정을 생성하도록 프롬프트를 사용하는 기술입니다. 연구팀은 GenRM을 훈련하는 데 사용된 CoT 근거는 사람이나 다른 LLM에 의해 생성될 수 있으며, 추론하는 동안 GenRM은 먼저 CoT 근거를 생성한 다음 "예" 토큰의 확률을 사용하여 정확도 점수를 할당한다고 설명했습니다.

딥마인드는 GenRM의 효과를 평가하기 위해 마지막 글자 연결, 단어 정렬, 단어 수학 문제 등 여러 추론 작업에서 GenRM을 테스트했습니다. 그 결과, 모든 작업에서 CoT를 사용한 GenRM은 차별적 보상 모델, LLM-as-a-Judge, 자기 일관성 등 표준 접근 방식보다 몇 퍼센트 포인트 높은 성능을 보였습니다.

딥마인드는 GenRM이 합성 검증 근거를 확장하고, 강화 학습 파이프라인에 GenRM을 통합하고, 퓨샷 학습, 검색 증강 생성, ReAct, 코드 생성 및 실행과 같은 고급 LLM 기능을 활용하는 등의 미래 연구 방향을 제시했습니다.