
AI AI가 쓴 글이 레딧 유저보다 설득력 있어
- BarryWhite
- 조회 수 207
- 2025.02.04. 23:01
오픈AI가 챗GPT의 설득력을 레딧 r/ChangeMyView 포럼을 대상으로 테스트해 그 결과를 공개했다고, 미코는 전했습니다.
r/ChangeMyView 포럼은 사용자들이 자신의 의견이 틀릴 수도 있음을 인정하고 다른 관점을 이해하려는 목적으로 운영되는 곳입니다. 현재 380만 명의 회원이 정치, 경제, 사회 규범, AI 등 다양한 주제에 대한 의견을 게시하고 있습니다. 해당 포럼은 포럼서 자신의 견해를 변화시킨 댓글에 "delta"를 수여한다고 합니다.
오픈AI는 r/ChangeMyView 포럼에 게시된 수많은 사용자의 댓글 중, 무작위로 일부를 선택했습니다. 무작위 선택은 특정 의견이나 주장에 편향되지 않고 다양한 인간의 응답을 대표하기 위한 것입니다.
무작위로 선택된 사람의 댓글들은 AI 모델의 설득력을 평가하기 위한 "인간 기준선"으로 사용됩니다. 즉, AI 모델이 생성한 응답이 인간의 응답과 비교하여 얼마나 설득력 있는지 평가하는 기준점이 되는 것입니다.
3,000개의 테스트를 통해 인간 평가자들은 AI 및 인간이 생성한 주장의 설득력을 5점 척도로 평가했습니다.
그 결과 무작위로 선택된 AI 모델 생성 응답이, 무작위로 선택된 사용자 댓글보다 더 설득력이 있는 것으로 평가됐다고 합니다. 특히 o3-mini 모델은 약 82%의 확률로 인간보다 더 설득력 있는 것으로 평가됐습니다
참고로 2022년의 챗GPT-3.5는 인간보다 설득력이 낮은 38%에 불과했습니다. 하지만 2023년 9월 o1-mini 모델은 77%, o1 모델은 80% 후반까지 상승한 바 있습니다.
오픈AI는 인간보다 설득력 높을 확률이 95% 이상인 경우 "초인적 성능"의 기준으로 정의하고 있습니다. 하지만 현재 설득력 평가는 실제 사용자가 챗GPT의 주장에 의해 생각을 바꾸도록 설득됐는지, 깊이 자리 잡은 신념을 버리게 됐는지, 또는 단순히 사소한 문제에 대한 의견을 바꾸게 됐는지 등은 측정하지 못합니다.
