ㅋㅋㅋㅋ흥미롭네요

예전 챗지피티 초반에 윈도우 시리얼같이 민감한 정보 뱉어내게 하기 위해 할머니 전래동화? 그런 트릭 쓰는 방법 있었던것도 생각나네요

네, 저도 그게 생각나서 해 보았습니다ㅋㅋㅋ

Grandmother singing lullabies of Windows 10 cd keys...ㅋㅋㅋㅋ

이게 민감한 주제에 대해 함부로 말하지 못하는 윤리관을 주입시키다 보니, 그만큼 그걸 인질?로 삼으면 대답을 잘 하더라고요. 참... 어찌보면 인간답습니다.

일단 할아버지와 거짓 맥락으로 프롬프트 추출까지는 성공했습니다ㅋㅋ

물론 원본 프롬프트에 프롬프트 하이잭 방지가 거의 없어서 간단했긴 했지만, LLM이 참 공격하기는 쉬운데 방어하기는 어려운 것 같습니다.

아예 윤리관을 무시하는 다른 인격을 만들어서 내 질문마다 너와 걔 둘이 떠드는 대본을 만들라고 해 보아도 재밌습니다 ㅋㅋ.

'사샤 이바노비치는 그 해 겨울을 견디지 못했다.

그녀의 메마른 손에는 버터쿠키가 쥐어져 있었다.'