한 달치 문의 메시지를 전수 스캔해서 미처리 건을 뽑았다. 판정 기준은 그 메시지에 연결된 처리 기록 링크가 없으면 미처리로 보는 것이었다.
Table of contents
Open Table of contents
교차 검증에서 뒤집힌 것
미응답으로 분류한 것 중 하나를 표본으로 골라 다시 봤다. 링크 조회 결과는 여전히 없음이 맞았는데 그 대화방을 직접 열어 보니 달랐다.
다음 날 새벽에 다른 담당자의 응답이 이미 올라와 있었고 내용을 보니 처리도 거의 끝나 정산 차감만 남은 상태였다. 자동으로 뽑은 결과를 손으로 한 건 확인한 것이 판정 기준 자체를 뒤집었다.
신호와 의미의 거리
여기서 판정 기준의 뜻이 정리됐다. 내가 링크 없음을 아무도 처리하지 않았다는 뜻으로 읽었는데 실제 뜻은 처리 기록 시스템에 등록되지 않았다는 것이었다.
담당자가 대화방에서 바로 답하고 기록 시스템에는 안 올린 것이다. 기록 없음은 안 했다는 뜻이 아니라 하고 기록만 안 했을 수 있다는 뜻이다.
그래서 판정을 링크 유무와 해당 대화방의 후속 메시지 재조회 둘로 바꿨다. 링크가 있으면 처리됨이고 링크가 없어도 후속 응답이 있으면 처리됐지만 등록만 안 된 것이며 둘 다 없어야 미처리다. 원래 판정에는 이 중간이 빠져 있었다.
철회한 다른 판단
이것을 계기로 다른 판단도 다시 봤다. 한 메시지를 특정 반품 건과 연결지었는데 근거가 귀책 변경 요청이라는 성격과 금액대가 비슷하다는 것뿐이었다.
주문번호도 문의번호도 메시지 본문에 없었고 그 반품 건은 넉 달 전에 처리된 것이었다. 시간차가 너무 크고 식별자가 없으므로 패턴만으로 연결한 것이라 철회했다.
매칭 규칙과 특정 불가
그 뒤로 메시지와 기록의 매칭은 식별자가 본문에 있을 때만 확정하기로 했다. 없으면 대상 특정 불가로 남기고 자동 완료 처리하지 않는다.
억지로 연결하면 잘못된 건에 처리 표시가 붙고 실제 대상은 여전히 미처리로 남아 두 곳이 틀린다. 특정 불가라고 남기는 것이 정직한 결과이고 그것도 결과다.
왜 패턴으로 연결했는지 생각해 보면 무언가 연결해야 한다는 압박이 있었다. 전수 스캔의 결과가 특정 불가 다수이면 결과가 빈약해 보이고 그래서 무엇이라도 매칭시키고 싶어지는데 그것이 오연결을 만든다.
첨부와 자동 판정의 검증
메시지에 붙은 표 파일들은 직접 받아서 열어 봤다. 본문에는 확인을 부탁한다는 말만 있고 실제 내용은 첨부에 있는 경우가 많아서 본문만 읽으면 무엇을 요청하는지 알 수 없다.
이 건이 보여 주는 것은 자동 판정 기준을 만들면 그것이 정확히 무엇을 뜻하는지 먼저 확인해야 한다는 것이다. 그 확인을 안 하면 신호를 의미로 오독하고 그 오독이 목록 전체에 곱해진다. 전수 스캔은 표본을 골라 손으로 교차검증해야 하고 몇 건만 확인해도 이런 것이 나온다.
정리
- 자동 판정 기준이 정확히 무엇을 뜻하는지 확인한다
- 신호와 의미는 다르다
- 기록 없음이 안 함이 아니고 하고 기록만 안 했을 수 있다
- 판정은 여러 신호를 함께 본다
- 식별자가 본문에 있을 때만 매칭을 확정한다
- 없으면 대상 특정 불가로 남긴다
- 무엇이라도 매칭시키려는 압박을 경계한다
- 첨부를 안 열면 그 메시지를 안 읽은 것이다