문서 검색을 쓰는 AI 지식베이스에 정확한 최신 요약을 추가했지만 다른 질문의 1위 결과가 잘못 바뀌었다. 수집 계층을 물었을 때 원래 라우팅 문서보다 관련 없는 현재 상태 요약이 먼저 나왔다. 새 문서의 내용이 맞아도 기존 검색에는 회귀가 생길 수 있었다.
주간 점검에서는 활성 문서 12개와 사용자가 실제로 물을 법한 질문 5개를 함께 확인했다. 일반 검사기는 통과했지만 실제 표현으로 물었을 때 오래된 요약이나 역할이 다른 문서가 먼저 나오는 반례를 찾았다. 넓은 검색어를 문제 문서에 덧붙이는 대신 그 문서의 역할을 설명하는 한 문장과 질문별 앵커만 보강했다.
수집 계층 충돌을 고치자 문서 ID 기준 정밀도와 재현율이 0.8125와 0.9375로 돌아왔다. 그러나 후속 확인에서는 주간 평가 점수와 서비스 출시 준비 상태에 관한 두 질문이 각자의 현재 문서를 놓쳤다. 해당 두 요약에 문서별 역할 문장을 추가한 뒤 실제 질문은 모두 의도한 문서를 1위로 찾았다. 기존 8개 검색 사례의 0.8125와 0.9375도 유지됐다.
새 요약을 추가하면 말뭉치의 단어 빈도와 경쟁 문서가 달라져 다른 질문의 순위도 움직일 수 있다. 수정한 문서만 확인해서는 이 영향을 알 수 없다. ‘새 문서가 검색된다’는 것에 더해 바꾸려던 질문의 결과가 좋아졌는지 살펴보고, 관련 없어 보이는 고정 질문도 다시 실행해야 한다.
이렇게 확인하면 문서 한 장을 고칠 때도 검사 범위가 넓어져 유지비가 든다. 하지만 검색형 지식베이스에서는 문서 추가가 내용과 인덱스를 함께 바꾸는 작업이다. 새 요약을 채택한 뒤에는 기존 질문이 계속 의도한 문서를 찾는지도 확인해야 한다.