문서 검색을 쓰는 AI 지식베이스에 정확한 최신 요약을 한 장 추가했더니 엉뚱한 질문의 1위 결과가 바뀌었다. 수집 계층을 묻는 질문은 원래의 라우팅 문서 대신 관련 없는 현재 상태 요약을 먼저 돌려줬다. 새 문서 자체는 틀리지 않았지만 검색 순위에는 회귀가 생겼다.
주간 점검은 활성 문서 12개와 실제 사용자가 물을 법한 질문 5개를 함께 확인했다. 일반 검사기는 통과했지만 실제 표현으로 질문하자 오래된 요약이나 역할이 다른 문서가 먼저 나오는 반례가 드러났다. 문제 문서에 넓은 검색어를 덧칠하지 않고, 해당 문서의 역할을 설명하는 한 문장과 질문별 앵커만 보강했다.
수집 계층 충돌을 고친 뒤 문서 ID 기준 정밀도와 재현율은 0.8125와 0.9375로 돌아왔다. 그런데 후속 확인에서 주간 평가 점수와 서비스 출시 준비 상태를 묻는 두 질문이 또 각자의 현재 문서를 놓쳤다. 두 요약에 문서별 역할 문장을 추가하자 실제 질문은 모두 의도한 문서를 1위로 찾았고, 기존 8개 검색 사례의 0.8125와 0.9375도 유지됐다.
검색 순위는 수정한 문서 한 장만 보고 정해지지 않는다. 새 요약이 들어오면 말뭉치의 단어 빈도와 경쟁 문서가 달라져 다른 질문의 순위도 움직일 수 있다. 그래서 ‘새 문서가 검색된다’는 검사만으로는 부족하다. 바꾸려던 질문이 좋아졌는지 확인한 뒤, 관련 없어 보이는 고정 질문도 다시 돌려야 한다.
이 방식은 문서 한 장을 고칠 때마다 검사 범위를 넓혀 유지비를 만든다. 그래도 검색형 지식베이스에서 문서 추가는 내용 변경인 동시에 인덱스 변경이다. 새 요약을 채택했다면 그 문서만 읽고 끝낼 일이 아니라, 기존 질문들이 여전히 제자리로 가는지 확인해야 한다.