"검사기마다 결과가 다르게 나와요" — 어느 쪽을 믿어야 하나

같은 글을 여러 AI 검사 도구에 넣으면 결과가 크게 달라지는 이유와, 그럴 때 무엇을 기준으로 판단해야 하는지 답합니다.

질문

같은 글을 세 군데에 넣어 봤는데 12%, 58%, 94%가 나왔습니다. 이렇게까지 다를 수가 있나요? 어느 쪽을 믿어야 하죠?

짧은 답

셋 다 "그대로 믿을" 성격의 숫자가 아닙니다. 그리고 이 정도 편차는 예외가 아니라 흔한 일입니다.

각 도구는 문체의 어떤 측면에 얼마나 가중치를 둘지를 다르게 잡습니다. 같은 글을 봐도 강조점이 다르니 결과가 갈립니다. 기온을 재는 게 아니라 "이 글이 얼마나 매끄러운가"를 각자의 잣대로 매기는 것에 가깝습니다.

영어 위주로 만들어진 도구를 한국어에 적용하면 결과가 불안정합니다. 한국어는 어미 체계와 문장 구조가 달라서 그대로 옮겨지지 않습니다.

짧은 글일수록 편차가 커집니다. 문장이 서너 개뿐이면 통계를 낼 근거가 부족합니다. 같은 글의 앞부분과 뒷부분을 따로 넣어도 점수가 다르게 나오는 이유입니다.

가장 자주 오해받는 지점입니다. "94%"는 "AI가 썼을 확률 94%"가 아닙니다. 신호의 강도에 가까운 값이고, 도구마다 그 값을 어떤 눈금에 얹을지도 다릅니다. 애초에 서로 비교할 수 있는 숫자가 아닙니다.

숫자를 평균 내려 하지 마세요. 대신 여러 도구가 공통으로 표시한 구간을 보세요.

세 도구가 다 같은 문단을 짚었다면, 그 문단은 실제로 평탄하게 읽힌다는 뜻입니다. 점수는 달라도 어디가 걸리는지에 대한 판단은 겹치는 경우가 많습니다.

그리고 그 문단을 열어 이렇게 물으세요.

여기에 내 판단이나 구체적 사실이 있나?

이게 점수보다 훨씬 실용적인 정보입니다.

의심을 받았을 때 낮은 점수가 나온 도구의 결과를 가져가는 경우가 있는데, 효과가 거의 없습니다. 상대도 결과가 제각각이라는 걸 알고, 오히려 여러 도구를 돌려 봤다는 사실이 인상을 나쁘게 만들 수 있습니다.

소명은 점수가 아니라 과정으로 합니다. 초고, 버전 기록, 참고 자료. 자세한 방법은 AI로 썼냐고 의심받았을 때에 정리했습니다.

점수의 정확도로 고르기는 어렵습니다. 검증할 방법이 없으니까요. 대신 다음을 보는 게 실질적입니다.

AI 검사기는 문장 단위 표시를 제공하고, 결과를 참고용 의심도로 표기합니다. 결과 해석에 대한 설명은 FAQ에도 정리돼 있습니다.

어떤 도구도 작성자를 특정하지 못합니다. 점수 차이에 신경 쓰기보다, 표시된 구간을 열어 보는 습관이 실제로 글을 좋게 만듭니다.

점수를 목표로 삼으면 왜 손해인지는 의심도를 낮추는 게 목표가 되면 글이 망가진다에서 다뤘습니다.