Grafana Loki ログ管理完全ガイド：LogQLクエリ・収集パイプライン・アラート設定

# Lokiマイクロサービスモード基本設定例
auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096

common:
  path_prefix: /loki
  storage:
    s3:
      endpoint: s3.amazonaws.com
      bucketnames: loki-chunks
      region: ap-northeast-2
      access_key_id: ACCESS_KEY
      secret_access_key: SECRET_KEY
  replication_factor: 3
  ring:
    kvstore:
      store: memberlist

schema_config:
  configs:
    - from: '2024-01-01'
      store: tsdb
      object_store: s3
      schema: v13
      index:
        prefix: index_
        period: 24h

storage_config:
  tsdb_shipper:
    active_index_directory: /loki/tsdb-index
    cache_location: /loki/tsdb-cache

limits_config:
  max_query_parallelism: 32
  max_query_series: 500
  retention_period: 30d

compactor:
  working_directory: /loki/compactor
  compaction_interval: 10m
  retention_enabled: true
  retention_delete_delay: 2h

# 完全一致
{namespace="production", app="api-gateway"}

# 否定一致
{namespace="production", app!="debug-tool"}

# 正規表現マッチング
{namespace="production", app=~"api-.+"}

# 正規表現除外
{namespace=~"prod|staging", app!~"test-.+"}

# 文字列含有フィルタ
{app="api-gateway"} |= "error"

# 文字列非含有フィルタ
{app="api-gateway"} != "healthcheck"

# 正規表現フィルタ
{app="api-gateway"} |~ "status=[45]\\d{2}"

# 正規表現除外フィルタ
{app="api-gateway"} !~ "GET /health"

# JSONログパーシング - すべてのJSONフィールドをラベルとして抽出
{app="api-gateway"} | json

# 特定のJSONフィールドのみ抽出
{app="api-gateway"} | json level, method, duration

# logfmt形式パーシング
{app="api-gateway"} | logfmt

# 正規表現パーシング - パターンマッチングでフィールド抽出
{app="nginx"} | regexp `(?P<ip>\\S+) - - \\[(?P<ts>.+?)\\] "(?P<method>\\S+) (?P<path>\\S+)"`

# patternパーサー - 簡潔なパターンマッチング
{app="nginx"} | pattern `<ip> - - [<_>] "<method> <path> <_>" <status> <size>`

# パーシング後の抽出ラベルでフィルタリング
{app="api-gateway"} | json | level="error"
{app="api-gateway"} | json | duration > 500ms
{app="api-gateway"} | json | status >= 400 and method="POST"

# 秒間ログ発生率（ログレンジ集約）
rate({app="api-gateway"} |= "error" [5m])

# 特定ステータスコードの秒間発生率
sum(rate({app="api-gateway"} | json | status >= 500 [5m])) by (method)

# レスポンスタイム分布（quantile抽出）
quantile_over_time(0.99, {app="api-gateway"} | json | unwrap duration [5m]) by (method)

# バイト単位転送量合計
sum(bytes_over_time({app="nginx"} [1h])) by (namespace)

# エラー率計算（エラーログ数 / 全ログ数）
sum(rate({app="api-gateway"} | json | level="error" [5m]))
/
sum(rate({app="api-gateway"} [5m]))

# Promtail設定例
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://loki-gateway:3100/loki/api/v1/push
    tenant_id: default

scrape_configs:
  - job_name: kubernetes-pods
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      # Namespaceラベルの追加
      - source_labels: [__meta_kubernetes_namespace]
        target_label: namespace
      # Pod名ラベルの追加
      - source_labels: [__meta_kubernetes_pod_name]
        target_label: pod
      # コンテナ名ラベルの追加
      - source_labels: [__meta_kubernetes_pod_container_name]
        target_label: container
    pipeline_stages:
      # Dockerログ形式のパーシング
      - docker: {}
      # JSONログのパーシング
      - json:
          expressions:
            level: level
            msg: message
      # ラベルの設定
      - labels:
          level:
      # タイムスタンプの抽出
      - timestamp:
          source: time
          format: RFC3339Nano

// Grafana Alloy設定例（River構文）
discovery.kubernetes "pods" {
  role = "pod"
}

discovery.relabel "pod_logs" {
  targets = discovery.kubernetes.pods.targets

  rule {
    source_labels = ["__meta_kubernetes_namespace"]
    target_label  = "namespace"
  }

  rule {
    source_labels = ["__meta_kubernetes_pod_name"]
    target_label  = "pod"
  }

  rule {
    source_labels = ["__meta_kubernetes_pod_container_name"]
    target_label  = "container"
  }
}

loki.source.kubernetes "pod_logs" {
  targets    = discovery.relabel.pod_logs.output
  forward_to = [loki.process.pipeline.receiver]
}

loki.process "pipeline" {
  stage.json {
    expressions = {
      level   = "level",
      message = "msg",
    }
  }

  stage.labels {
    values = {
      level = "",
    }
  }

  forward_to = [loki.write.default.receiver]
}

loki.write "default" {
  endpoint {
    url = "http://loki-gateway:3100/loki/api/v1/push"
  }
}

# Loki Helmチャートインストール（Simple Scalableモード）
helm repo add grafana https://grafana.github.io/helm-charts
helm repo update

helm install loki grafana/loki \
  --namespace observability \
  --create-namespace \
  --values loki-values.yaml

# Grafana Alloy DaemonSetインストール
helm install alloy grafana/alloy \
  --namespace observability \
  --values alloy-values.yaml

# loki-alert-rules.yaml
groups:
  - name: application-errors
    rules:
      # HTTP 5xxエラー急増の検知
      - alert: HighHTTP5xxRate
        expr: |
          sum(rate({namespace="production"} | json | status >= 500 [5m])) by (app)
          > 10
        for: 5m
        labels:
          severity: critical
          team: backend
        annotations:
          summary: 'HTTP 5xxエラー率の急増を検知'
          description: 'アプリ {{ .Labels.app }} で5分間に秒間10件以上の5xxエラーが発生しています。'

      # エラーログ比率の監視
      - alert: HighErrorLogRatio
        expr: |
          sum(rate({namespace="production"} | json | level="error" [10m])) by (app)
          /
          sum(rate({namespace="production"} [10m])) by (app)
          > 0.05
        for: 10m
        labels:
          severity: warning
          team: platform
        annotations:
          summary: 'エラーログ比率が5%超過'
          description: 'アプリ {{ .Labels.app }} のエラーログ比率が10分間5%を超過しました。'

      # ログ収集停止の検知
      - alert: LogIngestionStopped
        expr: |
          sum(rate({namespace="production"} [15m])) by (app) == 0
        for: 15m
        labels:
          severity: critical
          team: platform
        annotations:
          summary: 'ログ収集停止を検知'
          description: 'アプリ {{ .Labels.app }} から15分間ログが収集されていません。'

  - name: security-alerts
    rules:
      # 認証失敗の多発検知
      - alert: BruteForceAttempt
        expr: |
          sum(rate({app="auth-service"} |= "authentication failed" [5m])) by (source_ip)
          > 5
        for: 2m
        labels:
          severity: critical
          team: security
        annotations:
          summary: 'ブルートフォース攻撃の疑い'
          description: 'IP {{ .Labels.source_ip }} から5分間に秒間5件以上の認証失敗が発生しました。'

# Loki ruler設定ブロック
ruler:
  storage:
    type: local
    local:
      directory: /loki/rules
  rule_path: /loki/rules-temp
  alertmanager_url: http://alertmanager:9093
  ring:
    kvstore:
      store: memberlist
  enable_api: true
  evaluation_interval: 1m