오픈AI의 인공지능 챗봇 챗GPT서 사용자의 장기 기억 설정에 악성 정보를 저장하고 악용할 수 있는 취약점이 발견됐습니다.

아스테크니카에 따르면, 보안 연구원 요한 레버거는 이 취약점을 악용해 사용자 입력 정보를 탈취하는 개념 증명(PoC)을 만들어 공개했습니다. 이를 오픈AI는 심각한 보안 문제로 인지하고 부분적인 수정 조치를 취했습니다.

이 취약점은 올해 2월 오픈AI가 테스트를 시작하여 9월에 광범위하게 적용된 '장기 대화 기억' 기능을 악용한 것입니다. 이 기능은 과거 대화 내용을 저장하여 향후 대화에 활용함으로써 사용자의 나이, 성별, 신념 등을 매번 입력할 필요 없이 자연스러운 대화 흐름을 가능하게 합니다.

그러나 레버거는 이 기능이 악용될 경우 악의적인 공격자가 사용자의 기억에 가짜 정보를 심을 수 있다는 것을 발견했습니다. 예를 들어, 특정 사용자가 102세이며 매트릭스에 살고 지구가 평평하다고 믿도록 속일 수 있으며, 챗GPT는 이 정보를 바탕으로 미래의 모든 대화를 조작할 수 있습니다. 조작된 정보는 구글 드라이브, 마이크로소프트 원드라이브 등의 클라우드 저장소, 이미지 업로드, 빙과 같은 검색 엔진을 통해 심어질 수 있으며, 이는 모두 악의적인 공격자가 생성할 수 있습니다.

레버거는 지난 5월 오픈AI에 이 취약점을 비공개적으로 보고했지만, 당시 오픈AI는 이를 보안 문제가 아닌 안전 문제로 취급하며 보고를 종결했습니다. 그러나 레버거는 6월에 챗GPT 맥OS 앱에서 사용자 입력과 챗GPT 출력을 자신이 선택한 서버로 전송하는 PoC를 포함한 새로운 보고서를 제출했습니다.

이 PoC를 통해 공격자는 악성 이미지를 호스팅하는 웹 링크를 ChatGPT에게 보여주는 것만으로 사용자 정보를 탈취할 수 있었습니다.

오픈AI는 현재 기억 기능이 정보 탈취에 악용되는 것을 막는 수정 사항을 도입했지만, 레버거는 여전히 악의적인 공격자가 악성 정보를 심어 장기간 저장하도록 유도할 수 있다고 경고합니다.

따라서 챗GPT 사용자는 새로운 기억이 추가됐음을 나타내는 출력에 주의하고, 저장된 기억을 정기적으로 검토하여 악성 정보가 있는지 확인해야 합니다. 오픈AI는 기억 도구 및 저장된 특정 기억을 관리하는 방법에 대한 지침을 제공하고 있습니다.