벤처비트는 구글 연구원들이 새 논문을 발표, 대규모 언어 모델(LLM)에 무한의 길이로 텍스트를 작업할 수 있는 기능을 제공한다고 보도했습니다.

이 논문에서는 메모리와 컴퓨팅 요구 사항을 일정하게 유지하면서 '컨텍스트(맥락) 창'을 확장하는 방식으로 언어 모델을 구성하는 기술인 Infini-attention을 소개합니다.

"이 연구에서는 트랜스포머 기반 대규모 언어 모델(LLM)을 제한된 메모리와 연산으로 무한히 긴 입력으로 확장하는 효율적인 방법을 소개합니다.

우리가 제안한 접근 방식의 핵심 구성 요소는 Infini-attention이라는 새로운 주의 기법입니다. Infini-attention은 바닐라 주의 메커니즘에 압축 메모리를 통합하고 단일 Transformer 블록에 마스크된 로컬 주의와 장기 선형 주의 메커니즘을 모두 구축합니다.

긴 컨텍스트 언어 모델링 벤치마크, 1M 시퀀스 길이의 패스키 컨텍스트 블록 검색, 1B 및 8B LLM을 사용한 500K 길이의 책 요약 작업에서 접근 방식의 효과를 입증합니다. 우리의 접근 방식은 최소한의 제한된 메모리 매개변수를 도입하고 LLM에 대한 빠른 스트리밍 추론을 가능하게 합니다."

구글 연구팀이 보고한 실험에 따르면 Infini-attention을 사용하는 모델은 추가 메모리 없이도 100만 토큰 이상 품질을 유지할 수 있는 것으로 나타났습니다. 이론적으로는 동일한 추세를 더 큰 길이로 지속할 수 있습니다.

컨텍스트 창은 모델이 언제든지 작업할 수 있는 토큰의 수입니다. 예를 들어 ChatGPT와의 대화가 컨텍스트 창을 넘어 확장되면 성능이 급격히 떨어지고 대화 시작 시 포함된 토큰을 버립니다.

조직은 프롬프트에 맞춤형 문서와 지식을 삽입하여 애플리케이션에 맞게 LLM을 사용자 정의하고 있습니다. 따라서 컨텍스트 길이를 늘리는 것은 모델을 개선하고 경쟁사보다 우위를 점하기 위한 주요 노력 중 하나입니다.