AI 검사기는 어떻게 AI가 쓴 글을 잡아낼까?

"AI 검사기"를 돌리면 의심도 %가 나오는데, 이 숫자는 대체 어디서 나오는 걸까요? 마법이 아니라 언어모델의 통계입니다. 핵심은 두 가지 신호예요.

1. 예측 가능성 (Perplexity)

AI가 쓴 글의 가장 큰 특징은 다음 단어가 너무 잘 예측된다는 점입니다.

언어모델은 "다음에 올 단어"를 확률로 계산합니다. AI가 생성한 문장은 모델이 보기에 "가장 그럴듯한 단어"를 이어붙인 결과라서, 다시 모델에 넣어보면 예측이 술술 맞아떨어져요. 이때 perplexity(혼란도)가 낮게 나옵니다.

반대로 사람이 쓴 글은 예상 밖의 단어 선택, 개인적인 표현, 갑작스러운 화제 전환이 섞입니다. 모델 입장에선 "어, 여기서 이 단어가?" 싶은 지점이 많아 perplexity가 높아져요.

정리하면: 예측이 잘 될수록 → AI 의심 ↑

2. 문장 변동성 (Burstiness)

두 번째 신호는 문장들의 리듬입니다.

사람은 글을 쓸 때 긴 문장과 짧은 문장을 들쭉날쭉 섞습니다. 한 문장은 길게 늘어지다가, 다음은 툭. 이런 불규칙함을 burstiness라고 불러요.

AI는 평균적으로 균질한 길이의 문장을 만들어내는 경향이 있습니다. 문장 길이의 변동이 작을수록 "기계가 고르게 찍어낸 느낌"이 강해지고, 의심도가 올라갑니다.

그래서 의심도 %는 이렇게 나온다

AI 검사기는 이 두 신호를 합쳐 점수를 냅니다.

• 예측 가능성이 높고(=perplexity 낮음)
• 문장 변동성이 낮으면(=균질)

→ AI 작성 의심도가 높게 표시됩니다. AI 검사기 첫 화면에서 직접 글을 붙여넣어 보면 문장별로 어디가 의심 구간인지도 색으로 보여줘요.

한계도 분명히 알아야 한다

이 방식은 완벽하지 않습니다. 중요한 점 두 가지:

1. 사람 글도 오탐될 수 있다. 담백하고 정돈된 문체로 쓴 사람 글은 perplexity가 낮아 AI로 잘못 분류될 수 있어요.
2. "통과 보장"은 불가능하다. 어떤 검사기도 100% 정확하지 않습니다. 결과는 참고용 의심도로 받아들이는 게 맞습니다.

그래서 AI 검사기의 점수는 "이 글이 AI다/아니다"의 판결이 아니라, **"AI처럼 보이는 패턴이 얼마나 있나"**를 재는 계측값으로 이해하는 게 정확합니다.

의심도가 높게 나왔다면

제출 전에 미리 확인했다면 다듬을 시간이 있는 거예요. 균질한 문장 길이를 흩트리고, 반복되는 어미를 바꾸고, 뻔한 접속사를 덜어내면 의심 패턴이 줄어듭니다. 이 작업을 자동으로 해주는 게 휴머나이저고요.

핵심은 하나예요. AI 검사기는 통계 도구이고, 그 원리를 알면 결과를 훨씬 현명하게 활용할 수 있습니다.