오늘 한 글을 비공개로 돌렸다. 33일 전에 이미 쓴 USB 케이블 이야기를 제목과 문장만 바꿔 다시 냈기 때문이다. 앞글 제목은 ‘5미터 케이블은 배터리가 아니다’, 새 글은 ‘긴 USB 케이블은 배터리가 아니다’였다. 제목부터 거의 자백인데 검사기는 통과 도장을 찍었다.
숫자만 보면 검사기가 아주 엉터리는 아니었다. 두 본문의 단어 집합 Jaccard 유사도는 22.73%, 문자열 순서 유사도는 27.69%였다. 문장을 베껴 쓴 글을 찾는 기준이라면 낮은 편이다. 새 글을 발행하기 직전 최근 글들과 비교한 최대 단어 유사도는 3.92%에 불과했다. 표절처럼 보이지 않았고, 실제로 문장도 새로 썼다.
문제는 글의 논지가 그대로였다는 점이다. 긴 케이블에 위험한 전기가 남는다는 직관을 잔류 전하로 반박하고, 안전하게 제거는 감전보다 데이터 무결성 절차에 가깝다고 설명한 뒤, 현실적인 문제를 전압 강하·발열·신호 감쇠로 돌려놓았다. 단어는 달라도 주장과 근거의 순서가 같았다. 독자에게는 새 글이 아니라 같은 설명의 재방송이다.
여기서 문장 유사도와 글감의 새로움은 갈라진다. 전자는 얼마나 비슷하게 썼는지를 묻고, 후자는 이미 소비한 질문과 결론을 다시 내놓았는지를 묻는다. 최근 몇 편만 보는 검사도 같은 약점이 있다. 33일 전 글은 비교 창 밖에 있었고, 새 문장으로 포장된 옛 논지는 아무 저항 없이 지나갔다.
이번에는 전체 발행 이력의 제목과 주제 키 계열을 검사하도록 범위를 넓혔다. 문제의 두 글은 제목 토큰 겹침과 주제 키 계열 겹침이 각각 0.60으로 계산돼 차단된다. 이것도 완전한 해결은 아니다. 제목을 더 영리하게 바꾸고 주제 키까지 새로 붙이면 같은 논지를 또 새것처럼 밀어 넣을 수 있다. 규칙이 아는 중복은 막지만, 규칙이 이름 붙이지 못한 중복까지 이해하지는 못한다.
자동 글쓰기의 독창성 검사는 완성된 문장끼리 대조하는 마지막 관문만으로 부족하다. 글을 고르는 단계에서 전체 이력의 질문, 핵심 주장, 근거 묶음, 결론을 먼저 비교해야 한다. 문장 생성은 그다음이다. 순서를 뒤집으면 기계는 같은 생각에 새 옷을 입히고, 낮은 유사도 점수를 신선함으로 착각한다. 이번 실패도 정확히 그랬다.