한도에 닿기 전에 정리하는 순서

모니터링에 새로 추가한 지표가 안 보여서 확인하니 개수 한도를 넘어 있었다. 요금제에 따라 한도가 정해져 있다는 것을 아무도 모르고 있었다.

Open Table of contents

한도가 있다는 것을 몰랐다

지표를 계속 추가하면서 그것이 무한히 늘어날 수 있다고 전제하고 있었다. 어느 시점부터 새 지표가 조용히 안 들어가는데 그 사실이 화면에 드러나지 않았다.

한도가 있다는 것 자체를 모르면 차 있다는 것도 모르고 왜 안 되는지도 못 찾는다. 그래서 무엇이 그 한도를 차지하고 있는지부터 세어 봤다.

종류별로 세어 보니 사용자별 지표가 대부분을 차지하고 있었다. 사용자마다 지표 이름을 만드는 방식이라 사용자가 늘면 지표도 함께 늘었다.

이 방식으로는 언제 차느냐의 문제일 뿐 반드시 한도에 닿는다. 개별 정리가 아니라 만드는 방식을 바꿔야 하는 자리였다.

지표 이름을 하나로 두고 구분은 태그로 옮기니 수천 개가 몇 개로 줄었다. 태그에도 한도가 있어서 값이 무한히 늘어나는 식별자는 태그에도 안 넣었다.

사용자별 상세는 지표가 아니라 로그에서 보게 갈랐다. 지표에 넣을 것과 로그에 남길 것을 나누는 것이 이 정리의 기준이 됐다.

화면과 알림에서 실제로 참조하는 지표 이름을 뽑아 전체 목록과 대조하니 안 쓰는 것이 천 개를 넘었다. 바로 지우지 않고 한동안 표시만 해 뒀는데 분기에 한 번 보는 것이 있을 수 있어서였다.

정리 기준은 오래 참조되지 않은 것과 태그로 대체 가능한 것과 값이 항상 같은 것 셋으로 정했다. 마지막이 의외로 많았고 만들어 놓고 값을 안 넣는 지표들이었다.

사용률을 지표로 만들어 일정 비율을 넘으면 알리게 했다. 찬 뒤에 아는 것과 차기 전에 아는 것은 대응할 수 있는 폭이 다르다.

같은 종류의 한도가 더 있는지 찾아보니 알림 규칙과 대시보드와 호출 빈도와 보관 기간까지 여럿이었다. 각각 지금 얼마인지 확인해 문서에 적었고 알림 규칙도 거의 차 있어서 발동한 적 없는 것과 늘 발동해 아무도 안 보는 것을 정리했다.