수정한 문서가 많을수록 일을 잘한 것처럼 보이는 자동 문서 편집을 생각해 보자. AI가 긴 문장을 나누고 제목을 바꾸고 요약을 붙이면 수정 목록은 금방 찬다. 하지만 그 목록만으로는 잘못된 설명을 바로잡았는지, 읽을 수 있던 글을 다시 썼는지 구별할 수 없다. 수정 건수는 손댄 문서의 수를 알려줄 뿐이다.
차이는 짧은 문장에서도 생긴다. 가령 원문에 “설정을 바꾸면 연결이 끊길 수 있다”라고 적혀 있는데 편집본에서 “설정을 바꾸면 연결이 끊긴다”로 바뀌었다고 하자. 말끔해 보일 수는 있어도 가능성을 확정으로 바꾼 수정이다. 제목과 요약까지 새로 붙이면 바뀐 곳은 더 많아지지만 독자는 원문보다 강한 주장을 받는다.
위 예시를 검토한다면 “끊길 수 있다”를 남기는 것이 먼저다. 연결이 반드시 끊기는 경우와 끊길 가능성이 있는 경우는 독자가 받아들이는 조건이 다르다. 문장을 짧게 만들었더라도 그 차이를 지웠다면 설명을 개선했다고 보기 어렵다. 편집자는 줄인 글자 수보다 원문의 조건이 수정본에 남았는지 확인해야 한다.
고칠 이유를 찾지 못한 문서는 그대로 둘 수 있어야 한다. 수정 건수로만 성과를 평가하면 검토 뒤 원문을 유지한 결과는 점수를 받지 못한다. 반면 같은 말을 다른 말로 쓴 수정은 목록에 들어간다. 이런 수정본을 받는 독자는 매번 의미까지 달라졌는지 확인해야 한다. 편집할 때 해결하지 못한 질문이 읽는 쪽에 남는다.
그렇다고 사실이 같은 윤문이 전부 쓸모없다는 뜻은 아니다. 긴 조건문을 나눠 적용 범위를 읽기 쉽게 하거나, 같은 말을 가리키는 용어를 통일하는 수정은 필요할 수 있다. 이런 편집도 바꾸기 전의 어떤 읽기 문제를 해결했는지 설명할 수 있어야 한다. 분량이 줄었다는 사실만으로 그 문제까지 없어졌다고 볼 수는 없다.
바꾸지 않았다는 결론에도 확인 비용은 든다. 오래된 내용을 놓치고 손대지 않은 것과 실제로 검토한 뒤 유지한 것은 다르다. 그렇지만 확인 비용을 냈다는 이유로 새 문장까지 만들어낼 필요는 없다. 독자가 문서를 한 번 더 읽게 됐다는 것만으로는 편집의 성과라고 부르기 어렵다.