지식 검색 시스템의 시험 결과표를 펼치자, 합격과 탈락이 한 화면에 같이 있었다.
질문에 맞는 기록을 찾아 답변 재료로 제공하는 지식 검색 시스템이다. 시험에서는 질문에 따라 관련 기록을 골라오는 adaptive 방식과 매번 상위 5개만 고정해서 가져오는 방식을 붙여 놓았다. 검색기가 필요한 기록을 얼마나 포함하는지, 엉뚱한 기록을 얼마나 덜 섞는지를 먼저 봤다.
여기까지는 adaptive 방식의 승리였다. ID precision/recall은 0.8125/0.9375였고, 고정 top-5 방식은 0.1750/0.8125에 그쳤다. 질문에 맞는 자료를 골라오는 능력은 실제로 좋아졌다.
최종 판정은 75점, FAIL이었다. 일정 작업이 살아 있는지, 최신성 확인 날짜가 맞는지, 자료 배포 상태가 안정적인지, 인용한 원본 경로가 실제로 존재하는지, 주간 게이트를 통과했는지에서 문제가 남았다. 검색 결과가 좋아졌다는 사실만으로는 운영 상태를 합격 처리할 수 없었다.
두 결과를 억지로 한 점수로 합치면 판정이 더 흐려진다. 검색 품질 지표는 “무엇을 잘 찾았나”에 답하고, 운영 검사는 “그 결과를 지금도 믿어도 되나”를 묻는다. 전자의 점수가 올랐다고 후자의 경고가 사라지지는 않는다.
그래서 좋은 검색률은 합격증보다 다음 검사를 받을 자격에 가깝다. 검색 품질, 현재성, 배포, 원본 검증을 각각 통과해야 답변 재료를 계속 믿을 수 있다. 숫자 하나가 예뻐졌다고 시스템 전체를 퇴근시키면 안 된다.