필사 모드: 深夜3時に起こさないアラート設計 — 症状ベースのアラートとバーンレート実践

# 4時間以内にディスクが満杯になる傾向か — 到達してからでは遅い
predict_linear(node_filesystem_avail_bytes{mountpoint="/data"}[6h], 4 * 3600) < 0
and
node_filesystem_avail_bytes{mountpoint="/data"} / node_filesystem_size_bytes{mountpoint="/data"} < 0.2

# スクレイプが途切れたジョブ — このアラートがなければ残りのアラートが静かに死ぬ
up{job="checkout-api"} == 0
or
absent(up{job="checkout-api"})

python3 - <<'PY'
slo = 0.999
days = 30
budget_ratio = 1 - slo
minutes = days * 24 * 60 * budget_ratio
print(f"エラーバジェット: {budget_ratio*100:.2f}% = {minutes:.1f}分 / {days}日")
for br in (14.4, 6, 3, 1):
    # バーンレート br で燃やし続けたとき予算が尽きるまで
    hours = days * 24 / br
    print(f"  バーンレート {br:>4}: {hours:6.1f}時間で消尽")
PY
# エラーバジェット: 0.10% = 43.2分 / 30日
#   バーンレート 14.4:   50.0時間で消尽
#   バーンレート    6:  120.0時間で消尽
#   バーンレート    3:  240.0時間で消尽
#   バーンレート    1:  720.0時間で消尽

# rules/slo.yml
groups:
  - name: checkout-slo-sli
    interval: 30s
    rules:
      - record: job:slo_errors:ratio_rate5m
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[5m]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[5m]))

      - record: job:slo_errors:ratio_rate1h
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[1h]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[1h]))

      - record: job:slo_errors:ratio_rate30m
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[30m]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[30m]))

      - record: job:slo_errors:ratio_rate6h
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-api", code=~"5.."}[6h]))
          /
          sum by (job) (rate(http_requests_total{job="checkout-api"}[6h]))

      # 低トラフィック区間で比率が乱高下するのを防ぐための最小トラフィックゲート
      - record: job:http_requests:rate5m
        expr: sum by (job) (rate(http_requests_total{job="checkout-api"}[5m]))

# rules/slo.yml (続き)
  - name: checkout-slo-alerts
    rules:
      - alert: CheckoutErrorBudgetBurnFast
        expr: |
          job:slo_errors:ratio_rate1h{job="checkout-api"} > (14.4 * 0.001)
          and
          job:slo_errors:ratio_rate5m{job="checkout-api"} > (14.4 * 0.001)
          and
          job:http_requests:rate5m{job="checkout-api"} > 1
        for: 2m
        labels:
          severity: page
          slo: checkout-availability
        annotations:
          summary: 'checkout-api がエラーバジェットを毎時2%の速度で消尽中'
          description: '現在の1時間エラー率 {{ printf "%.2f" $value }} — 残り予算はダッシュボードで確認'
          runbook_url: 'https://runbooks.internal/checkout/error-budget-burn'
          dashboard_url: 'https://grafana.internal/d/checkout-slo'

      - alert: CheckoutErrorBudgetBurnSlow
        expr: |
          job:slo_errors:ratio_rate6h{job="checkout-api"} > (6 * 0.001)
          and
          job:slo_errors:ratio_rate30m{job="checkout-api"} > (6 * 0.001)
        for: 15m
        labels:
          severity: ticket
          slo: checkout-availability
        annotations:
          summary: 'checkout-api のエラーバジェットが6時間窓で継続的に消尽中'
          runbook_url: 'https://runbooks.internal/checkout/error-budget-burn'

# rules/slo_test.yml
rule_files:
  - slo.yml
evaluation_interval: 30s
tests:
  - interval: 30s
    input_series:
      # 毎秒95件成功、5件失敗 = エラー率5% (しきい値1.44%超過)
      - series: 'http_requests_total{job="checkout-api", code="200"}'
        values: '0+2850x240'
      - series: 'http_requests_total{job="checkout-api", code="500"}'
        values: '0+150x240'
    alert_rule_test:
      - eval_time: 70m
        alertname: CheckoutErrorBudgetBurnFast
        exp_alerts:
          - exp_labels:
              severity: page
              slo: checkout-availability
              job: checkout-api

promtool check rules rules/slo.yml
# Checking rules/slo.yml
#   SUCCESS: 7 rules found

promtool test rules rules/slo_test.yml
# Unit Testing:  rules/slo_test.yml
#   SUCCESS

# CIゲート: severity=page なのに runbook_url がないアラートがあればビルドを壊す
missing=$(yq -r '
  .groups[].rules[]
  | select(.labels.severity == "page")
  | select(.annotations.runbook_url == null)
  | .alert
' rules/*.yml)

if [ -n "$missing" ]; then
  echo "ランブックのリンクがないページアラート:"
  echo "$missing"
  exit 1
fi
echo "すべてのページアラートにランブックが接続されています。"

# アラート別の総発火時間(分)。評価周期が30秒なのでサンプル数に0.5を掛ける。
sort_desc(
  sum by (alertname) (
    count_over_time(ALERTS{alertstate="firing", severity="page"}[30d])
  ) * 0.5
)

# 今発火しているものと、静かに抑制されているもの
amtool alert query --alertmanager.url=http://alertmanager:9093 --output=extended
amtool silence query --alertmanager.url=http://alertmanager:9093 --expired=false

# 期限なしで何か月も掛かったままのサイレンスがあれば、それは削除されるべきアラートだ

# alertmanager.yml
inhibit_rules:
  - source_matchers: ['severity="page"', 'alertname="ClusterDown"']
    target_matchers: ['severity=~"page|ticket"']
    equal: ['cluster']

route:
  group_by: ['alertname', 'cluster', 'slo']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'ticket-queue'
  routes:
    - matchers: ['severity="page"']
      receiver: 'oncall-pager'
      repeat_interval: 1h