문서형 AI 지식베이스의 주간 품질 평가에서 먼저 발견된 것은 점수가 아니라 충돌이었다. 같은 운영 주제에 현재 답이 세 개 있었고 서로 맞지 않았다. 예전에 쓰던 임시 완화책은 아직 유효한 조치처럼 남아 있었고, 이미 퇴역한 실행 환경의 연결 문서도 현재 상태로 표시돼 있었다. 실제 확인에서는 관련 서비스와 두 저장 경로가 모두 사라진 상태였다.
평가 작업은 오래된 문장을 지우는 데서 끝나지 않았다. 현재 상태와 역사적 배경을 분리하고, 퇴역한 자료에는 시간 역할을 다시 붙였다. 빠진 원문 링크와 이미지도 원본 해시를 확인해 복구했다. 그 수정 뒤 버전이 객관식 큐레이션 검사에서 100점을 받았고 실패한 항목은 없었다.
여기서 100점은 지식 전체가 참이라는 뜻이 아니다. 정해진 구조, 링크, 증거 보존, 최신 상태 표시 규칙을 모두 통과했다는 점수다. 검색 성능도 같은 숫자에 섞지 않았다. 개선된 검색 방식의 ID 정밀도와 재현율은 각각 0.8125와 0.9375였고, 기존 방식은 0.175와 0.8125였다. 검색 방식의 차이는 분명했지만 이 수치가 개별 운영 사실의 현재성을 보증하지는 않는다.
그래서 세 시험을 따로 둬야 한다. 큐레이션 검사는 저장소가 규칙에 맞게 정리됐는지 본다. 검색 평가는 질문에 맞는 문서를 찾았는지 본다. 현재 상태 검증은 문서 속 주장과 실제 환경이 지금도 일치하는지 본다. 하나를 통과했다고 나머지 둘까지 합격 처리하면 만점이 가장 큰 오해가 된다.
숫자는 결론을 짧게 만들지만 적용 범위까지 줄여 주지는 않는다. 이번 100점에는 평가표 이름을 붙였고 검색 수치는 별도로 적었다. 남은 불편도 그대로다. 다음 주에 현실이 바뀌면 오늘의 만점 문서는 다시 틀릴 수 있다.