https://www.digitaltoday.co.kr/news/articleView.html?idxno=518271

오픈AI가 최근 출시한 GPT-4o에 대한 관심이 뜨거운 가운데 내부 적용된 토큰 데이터가 오염됐다는 논란이 제기되고 있다.

지난 20일(현지시간) 온라인 매체 기가진에 따르면 일부 중국 사용자들 사이에서 해당 모델의 훈련 과정에 의문을 제기, 토큰 데이터가 오염됐다는 비판을 제시하고 나섰다.

인공지능(AI) 모델의 토큰은 예측 분석, 데이터 처리 및 의사 결정과 같은 작업을 위해 AI 알고리즘, 기계 학습 또는 신경망을 활용하는 텍스트 데이터 내 의미를 가진 최소 단위를 뜻한다.

그런데 이러한 GPT-4o의 중국어 토큰에 스팸이나 포르노 사이트에서 찾아볼 수 있을 법한 단어들이 발견됐다는 것.