"AI가 나오기 전에 쓴 글인데 AI라고 나와요"

질문

몇 년 전에 쓴 글을 재미로 넣어 봤는데 AI 의심도가 매우 높게 나왔습니다. 그때는 이런 도구가 없었는데요. 검사기가 고장 난 건가요?

짧은 답

고장이 아닙니다. 그리고 이 결과가 탐지 도구의 성격을 가장 잘 보여 줍니다.

왜 이런 일이 생기나

검사 도구는 글이 언제 쓰였는지 모릅니다. 작성 시점, 작성자, 사용한 프로그램 — 아무것도 보지 않습니다.

보는 건 오직 문체입니다. 문장이 얼마나 예측 가능한 방향으로 흐르는지, 길이 편차가 얼마나 되는지.

그래서 이렇게 정리됩니다.

높은 점수 = "이 글은 기계 문체의 특징을 보인다" 높은 점수 ≠ "이 글은 AI가 썼다"

몇 년 전에 쓴 글이 그 특징을 가지고 있으면 높게 나옵니다. 시점은 판단에 들어가지 않습니다.

어떤 옛날 글이 높게 나오나

경험적으로 이런 글들입니다.

• 형식이 정해진 글 — 보고서, 논문, 공문, 자기소개서
• 여러 번 다듬은 글 — 퇴고할수록 문장이 고르게 정리됩니다
• 교정을 거친 글 — 편집자나 교정 도구를 거친 원고
• 잘 쓴 글 — 두괄식, 규칙적 접속, 균일한 문단 구성

마지막 항목이 핵심입니다. 오래전에 썼든 어제 썼든, 훈련된 글쓰기는 균질합니다. 그리고 AI는 정확히 그 훈련된 글쓰기를 학습했습니다.

이 결과가 알려 주는 것

이 현상은 사실 유용한 정보입니다. 세 가지를 확인시켜 줍니다.

1. 점수는 확률이 아닙니다. "90%"는 "AI가 썼을 확률 90%"가 아니라 신호의 강도입니다.

2. 점수만으로 판단하면 안 됩니다. 존재하지도 않던 시점의 글이 높게 나오는 도구를, 누군가를 처분하는 단독 근거로 쓰는 건 위험합니다.

3. 낮은 점수도 보장이 아닙니다. 반대 방향도 마찬가지입니다. 낮게 나왔다고 통과가 보장되지는 않습니다.

그럼 검사기는 왜 쓰나

쓸모가 없는 게 아니라, 쓰는 방향이 정해져 있습니다.

판정 도구로 쓰면 어긋납니다. 점검 도구로 쓰면 유용합니다.

• 전체 점수는 한 번 보고 넘긴다
• 문장 단위로 표시된 구간을 열어 본다
• 그 문장에 내 판단이나 구체적 사실이 있는지 확인한다
• 없으면 채우고, 있으면 그대로 둔다

이 방식이면 옛날 글이든 어제 쓴 글이든 같은 기준으로 쓸 수 있습니다. "어디가 두루뭉술한가"를 찾는 도구로요.

재미있는 실험

혹시 궁금하시면 해 보세요. 오래된 글 여러 편을 넣어 보면 자기 문체의 경향이 보입니다.

• 항상 높게 나온다면: 문장을 고르게 쓰는 습관이 있는 겁니다
• 편차가 크다면: 글의 종류에 따라 문체를 바꾸는 편입니다
• 특정 종류만 높다면: 그 형식이 문장을 강제하는 겁니다

어느 쪽이든 나쁜 게 아닙니다. 다만 알아 두면 앞으로 의심을 받았을 때 왜 그런지 설명할 수 있습니다.

오탐이 생기는 경우들을 정리한 직접 쓴 글이 AI로 나오는 이유와, 점수를 대하는 기준을 다룬 의심도를 낮추는 게 목표가 되면 글이 망가진다도 함께 보시면 도움이 될 겁니다.

검사 결과는 참고용 의심도이며, 작성 시점이나 작성자를 판별하지 않습니다.