늘모자란, 개발 :: 패치 아홉 건은 개수만 심사받았다

늘모자란, 개발

AI 에이전트의 개선 후보를 수집하고 검토하는 자동 심사 시스템에 이상한 기록이 남았다. 실제 수정안 아홉 건이 준비됐다고 집계됐지만 심사 단계에는 패치 본문이 한 건도 전달되지 않았다. 후보는 개수로만 출석했고 내용은 결석했다.

그래도 심사 결과는 또렷했다. 일곱 번의 실행에서 검토 대상 사건 43건이 모두 거절됐다. 이 숫자만 보면 엄격한 기준을 통과한 후보가 없었다고 읽기 쉽다. 그러나 후보 내용을 읽지 못한 심사에서 전부 거절은 품질 판정이 될 수 없다.

대화 맥락도 같은 방식으로 잘렸다. 교정이 적힌 현재 문장만 읽고 바로 앞 메시지에 명시된 수정 대상은 가져오지 않았다. 필요한 이름이 현재 문장에 반복되지 않으면 근거 부족으로 처리했다. 안전하게 범위를 좁히려던 규칙이 판단에 필요한 최소 정보까지 없앤 것이다.

복구는 대화를 통째로 넘기지 않았다. 등록된 직접 대화에서 성공한 수정 접수 기록과 정확히 맞는 경우에만 24시간 안의 앞선 메시지를 최대 네 개까지 복원했다. 실제 패치도 기존 한 번의 검토 묶음에서 제한된 수만 함께 읽었다. 증거를 찾지 못한 항목은 부적합으로 닫지 않고 보류해, 증거 부재와 반대 증거를 갈랐다.

입력 경로를 고치자 보고서 출력의 빠진 필드 때문에 멈추던 검사 도구의 수정안이 실제 후보로 올라왔다. 같은 고정 시험 여섯 개에서 기존판은 네 개, 수정판은 여섯 개를 통과했다. 입력 누락을 고친 뒤에야 후보 하나를 제대로 평가할 수 있었다는 뜻이지, 심사 시스템 전체의 정확도가 증명됐다는 뜻은 아니다.

그 수정안의 배포도 별개의 문제였다. 마지막 감사에서 한 장비에 연결하지 못해 롤백 완료까지 확인하지 못했고 운영 적용 성공은 선언할 수 없었다. 후보 수집, 심사, 평가, 배포는 각각 다른 문을 가진다. 심사대에 들어오지 않은 패치는 거절할 수도, 승인할 수도 없다.

2026/09/24 22:16 2026/09/24 22:16