필사 모드: 새벽 3시에 깨우지 않는 알림 설계 — 증상 기반 알림과 번 레이트 실전

# 4시간 안에 디스크가 가득 찰 추세인가 — 도달하고 나서는 늦다
predict_linear(node_filesystem_avail_bytes{mountpoint="/data"}[6h], 4 * 3600) < 0
and
node_filesystem_avail_bytes{mountpoint="/data"} / node_filesystem_size_bytes{mountpoint="/data"} < 0.2

# 스크레이프가 끊긴 잡 — 이 알림이 없으면 나머지 알림이 조용히 죽는다
up{job="checkout-api"} == 0
or
absent(up{job="checkout-api"})

python3 - <<'PY'
slo = 0.999
days = 30
budget_ratio = 1 - slo
minutes = days * 24 * 60 * budget_ratio
print(f"에러 버짓: {budget_ratio*100:.2f}% = {minutes:.1f}분 / {days}일")
for br in (14.4, 6, 3, 1):
    # 번 레이트 br 로 계속 태울 때 예산이 바닥나기까지
    hours = days * 24 / br
    print(f"  번 레이트 {br:>4}: {hours:6.1f}시간 만에 소진")
PY
# 에러 버짓: 0.10% = 43.2분 / 30일
#   번 레이트 14.4:   50.0시간 만에 소진
#   번 레이트    6:  120.0시간 만에 소진
#   번 레이트    3:  240.0시간 만에 소진
#   번 레이트    1:  720.0시간 만에 소진

# rules/slo.yml
groups:
  - name: checkout-slo-sli
    interval: 30s
    rules:
      - record: job:slo_errors:ratio_rate5m
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[5m]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[5m]))

      - record: job:slo_errors:ratio_rate1h
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[1h]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[1h]))

      - record: job:slo_errors:ratio_rate30m
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[30m]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[30m]))

      - record: job:slo_errors:ratio_rate6h
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[6h]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[6h]))

      # 저트래픽 구간에서 비율이 요동치는 것을 막기 위한 최소 트래픽 게이트
      - record: job:http_requests:rate5m
        expr: sum by (job) (rate(http_requests_total{job="checkout-api"}[5m]))

# rules/slo.yml (이어서)
  - name: checkout-slo-alerts
    rules:
      - alert: CheckoutErrorBudgetBurnFast
        expr: |
          job:slo_errors:ratio_rate1h{job="checkout-api"} > (14.4 * 0.001)
          and
          job:slo_errors:ratio_rate5m{job="checkout-api"} > (14.4 * 0.001)
          and
          job:http_requests:rate5m{job="checkout-api"} > 1
        for: 2m
        labels:
          severity: page
          slo: checkout-availability
        annotations:
          summary: 'checkout-api 에러 버짓을 시간당 2% 속도로 소진 중'
          description: '현재 1시간 오류율 {{ printf "%.2f" $value }} — 남은 예산은 대시보드 확인'
          runbook_url: 'https://runbooks.internal/checkout/error-budget-burn'
          dashboard_url: 'https://grafana.internal/d/checkout-slo'

      - alert: CheckoutErrorBudgetBurnSlow
        expr: |
          job:slo_errors:ratio_rate6h{job="checkout-api"} > (6 * 0.001)
          and
          job:slo_errors:ratio_rate30m{job="checkout-api"} > (6 * 0.001)
        for: 15m
        labels:
          severity: ticket
          slo: checkout-availability
        annotations:
          summary: 'checkout-api 에러 버짓이 6시간 창에서 지속 소진 중'
          runbook_url: 'https://runbooks.internal/checkout/error-budget-burn'

# rules/slo_test.yml
rule_files:
  - slo.yml
evaluation_interval: 30s
tests:
  - interval: 30s
    input_series:
      # 초당 95건 성공, 5건 실패 = 오류율 5% (임계값 1.44% 초과)
      - series: 'http_requests_total{job="checkout-api", code="200"}'
        values: '0+2850x240'
      - series: 'http_requests_total{job="checkout-api", code="500"}'
        values: '0+150x240'
    alert_rule_test:
      - eval_time: 70m
        alertname: CheckoutErrorBudgetBurnFast
        exp_alerts:
          - exp_labels:
              severity: page
              slo: checkout-availability
              job: checkout-api

promtool check rules rules/slo.yml
# Checking rules/slo.yml
#   SUCCESS: 7 rules found

promtool test rules rules/slo_test.yml
# Unit Testing:  rules/slo_test.yml
#   SUCCESS

# CI 게이트: severity=page 인데 runbook_url 이 없는 알림이 있으면 빌드를 깬다
missing=$(yq -r '
  .groups[].rules[]
  | select(.labels.severity == "page")
  | select(.annotations.runbook_url == null)
  | .alert
' rules/*.yml)

if [ -n "$missing" ]; then
  echo "런북 링크가 없는 페이지 알림:"
  echo "$missing"
  exit 1
fi
echo "모든 페이지 알림에 런북이 연결되어 있습니다."

# 알림별 총 발화 시간(분). 평가 주기가 30초이므로 샘플 수에 0.5를 곱한다.
sort_desc(
  sum by (alertname) (
    count_over_time(ALERTS{alertstate="firing", severity="page"}[30d])
  ) * 0.5
)

# 지금 발화 중인 것과, 조용히 억제되어 있는 것
amtool alert query --alertmanager.url=http://alertmanager:9093 --output=extended
amtool silence query --alertmanager.url=http://alertmanager:9093 --expired=false

# 만료 없이 몇 달째 걸려 있는 사일런스가 있다면 그것은 삭제되어야 할 알림이다

# alertmanager.yml
inhibit_rules:
  - source_matchers: ['severity="page"', 'alertname="ClusterDown"']
    target_matchers: ['severity=~"page|ticket"']
    equal: ['cluster']

route:
  group_by: ['alertname', 'cluster', 'slo']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'ticket-queue'
  routes:
    - matchers: ['severity="page"']
      receiver: 'oncall-pager'
      repeat_interval: 1h