https://mobile.twitter.com/matthew_d_green/status/1423071186616000513

 이해하기로는 로컬내에서 사진 해싱한 값을 미 정부?차원에서 지정한 유해 이미지 해시값과 유사도 비교로 1차 필터링 후 유사도가 높은 경우 이미지를 서버로 전송하는것 같습니다

 로컬에서 사진 내용을 검사하는것은 아니니 해싱으로 탐지하는 방식 자체는 그럴수 있다고 생각합니다

 당연히 탐지 모델 성능이 확보 되었으니 오탐지율이 보장 된다는 가정하에 서비스를 할거같긴 합니다

(시리가 답이없지 애플 논문들 읽어보면 FAANG ai팀은 맞습니다)

이제 탐지 방식 자체가 있는거는 그렇다 치고 이걸 서버로 보낸다 하면서 두가지가 걸리는데

첫번재는 오탐지가 없을수는 없고 사진이 애플 서버로 전송이 된다는 거입니다

현재 완벽한 모델은 사실상 없으니 오탐지가 될거고 사용자 동의 없이 무슨 사진인줄 알고 전송한다는건지 모르겠습니다.

잘못 가져갔다고 사용자에게 알린다는 거도 없는거 같습니다

두번째는 공격 당하는 경우입니다

ml 보안중 적대적 공격이 있는데 모델을 속이도록 데이터를 학습해 나간다고 볼 수 있습니다

위같이 티나지 않는 노이즈를 추가해서 공격 할 수 있는데 이런 이미지를 내가 받게 되면 탐지가 될것인데 이거를 사용자 의도가 없었다고 어떻게 판단할지도 애매할거같습니다.

서버 내에서 2차 탐지가 있기는 하고 이미지 확인을 하겠지만 시각적으로 확인한다면 이거를 보는거도 문제고 자동화 해서 탐지 해버리면 그거도 문제라 생각합니다

보안하시는 분들이 이거를 연구 안할리가 없는데 악용될 여지가 충분히 있어서 반대입니다

개인적으로는 이미 수사를 받고 있는 대상에 대해서만 적용하는게 맞지 않나 싶습니다

+추가

직접 참가를 해야지 되는거니 일단은 보겠지만 자동 참가로 바뀌는 경우 문제가 될거같습니다

+추가 2

 https://www.apple.com/child-safety/pdf/CSAM_Detection_Technical_Summary.pdf

디테일 공개하긴 했으니 읽어 봐야겠습니다

 서버상에 전송되는 이미지는 다 암호화가 되어있고

모델로 나온 해시값인 Neuralhash값과 매칭되는 blind hash값들이 on device로 따로 있습니다

애플측 말로는 문제있는 사진의 blind hash만 애플이 가지고 있으므로 문제있는 사진만 암호화 키를 가지고 해독 할 수 있다고 합니다

https://meeco.kr/mini/32950002

오탐지 이미지의 blind hash값이 문제 이미지랑 일치하는 경우에 위 문제가 있겠네요

해시 특성상 그럴 가능성이 아예 없다고는 할수 없지만 엄청 낮을듯 하긴 합니다

그래도 일단 이걸 굳이 애플이 서비스로 제공할 이유가 뭔지는 모르겠습니다. 일반 사람들이 이런 이미지 받는 거를 막아 준다는 건데 그냥 잘못 탐지 했구나 하고 봐버릴 사람들이 많을듯 하기도 하고 악용할 사람들이 참가할 서비스는 더더욱 아니니깐요.