주문 금액이 안 맞는 건을 조사하다가 로그에서 관련 없는 것을 발견했다.
Table of contents
Open Table of contents
조사 중 발견
[error] 알림 발송 실패: 41022건찾고 있던 것과 상관없는 오류인데 4만 건이 실패하고 있었다. 조사 중에 다른 문제가 눈에 들어오는 상황은 흔한데, 그때마다 무엇을 먼저 할지 즉석에서 판단하면 어느 쪽도 제대로 안 끝난다.
지금 고칠지 나중에 할지의 기준
두 선택 모두 대가가 있다. 지금 고치면 하던 조사의 맥락이 끊기고 다시 잡는 데 시간이 들며, 나중으로 미루면 잊을 수 있고 그동안 문제가 계속 진행된다.
기준을 이렇게 정했다. 지금도 자료가 잘못 쌓이고 있거나 놔두면 되돌릴 수 없어지거나 5분 안에 고칠 수 있으면 그 자리에서 처리하고, 그 밖은 적어 두고 하던 것을 마친다. 판단 기준을 시간이 아니라 되돌릴 수 있는지에 뒀다. 오래 걸려도 되돌릴 수 있으면 미룰 수 있고 짧게 걸려도 되돌릴 수 없으면 지금 해야 한다.
알림 발송 실패는 자료가 잘못 쌓이는 종류가 아니었으므로 적어 두고 하던 조사를 계속했다. 다만 실패 건수가 계속 늘고 있었으므로 알림만 그 자리에서 보냈다. 처리를 미루는 것과 알리는 것을 미루는 것은 다르다.
기록 형식
적을 때 무엇을 넣을지도 정해 뒀다.
## 2025-12-06 조사 중 발견
- 알림 발송 실패 41,022건 (2025-11-28 부터)
발견 경위: 주문 금액 조사 중 로그에서
긴급도: 중 (자료 손상 없음. 사용자가 알림을 못 받는 중)
다음 행동: 12-08 에 조사발견 경위를 적어 두니 나중에 이 항목이 왜 목록에 있는지를 다시 묻지 않게 됐고, 긴급도와 다음 행동을 함께 적으니 언제 처리할지가 그 자리에서 정해졌다. 항목만 적으면 목록이 길어질 뿐 무엇을 먼저 볼지는 여전히 모른다.
관련 없어 보이는 것의 공통 원인
주문 금액 조사를 먼저 끝내고 이틀 뒤에 적어 둔 것을 봤는데, 상관없어 보이던 둘의 원인이 같았다.
2025-11-28 배포에서 주문 처리 흐름이 바뀜
→ 금액 계산 순서가 바뀌어 값이 틀림
→ 알림 발송이 그 뒤로 밀려 트랜잭션 밖으로 나감한 배포가 두 증상을 만들었다. 증상만 보면 금액 계산과 알림 발송은 접점이 없지만 시작 시점을 맞춰 보니 같은 날이었고, 그 기간의 배포를 뒤지니 하나뿐이었다.
$ git log --since="2025-11-25" --until="2025-11-30" --oneline관련 없어 보이는 것들도 시작 시점을 맞춰 보는 것은 값이 싸다. 발견 시점을 함께 적어 두지 않았으면 이 대조를 할 수 없었다.
목록 관리와 담당 지정
적어 둔 목록을 주에 한 번 보고 두 주 넘게 처리되지 않은 항목이 있으면 왜 안 되는지 확인했다. 처리할 것이면 일정에 넣고 안 할 것이면 이유를 적고 목록에서 뺐다. 판단하지 않은 채 남겨 두는 항목이 늘어나면 목록 전체를 안 보게 된다.
발견 건수와 처리 건수를 함께 세어 본 것도 도움이 됐다.
2025-09 발견 4건 처리 4건
2025-10 발견 6건 처리 3건
2025-11 발견 8건 처리 2건발견이 처리를 앞지르고 있었고 이 상태가 이어지면 목록이 길어지다가 아무도 안 보게 된다. 시간을 따로 내서 밀린 것을 처리했다.
더 어려운 것은 담당을 정하는 일이었다. 내가 발견한 것을 내가 다 고칠 수는 없고 다른 사람 영역인 것도 있는데, 실제로 많았던 것은 어느 영역도 아닌 것이었다. 아무도 안 보는 자리에서 나온 문제라 담당이 없으면 목록에만 남고 진행되지 않는다. 주간 회의에서 담당 없는 항목을 먼저 다루기로 하니 정해진 뒤에는 진행됐다.
정리
- 조사 중에 다른 것을 발견하면 바로 고칠지 기준을 정해 둔다
- 기준을 시간이 아니라 되돌릴 수 있는지에 둔다
- 처리를 미루는 것과 알리는 것을 미루는 것은 다르다
- 적을 때 발견 경위와 긴급도와 다음 행동을 넣는다
- 관련 없어 보여도 시작 시점을 맞춰 보면 원인이 같을 수 있다
- 발견 속도와 처리 속도를 같이 본다
- 담당 없는 항목은 목록에만 남으므로 담당 지정을 먼저 한다