Grafana Loki 로그 관리 완전 가이드: LogQL 쿼리·수집 파이프라인·알림 설정

# Loki 마이크로서비스 모드 기본 설정 예시
auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096

common:
  path_prefix: /loki
  storage:
    s3:
      endpoint: s3.amazonaws.com
      bucketnames: loki-chunks
      region: ap-northeast-2
      access_key_id: ACCESS_KEY
      secret_access_key: SECRET_KEY
  replication_factor: 3
  ring:
    kvstore:
      store: memberlist

schema_config:
  configs:
    - from: '2024-01-01'
      store: tsdb
      object_store: s3
      schema: v13
      index:
        prefix: index_
        period: 24h

storage_config:
  tsdb_shipper:
    active_index_directory: /loki/tsdb-index
    cache_location: /loki/tsdb-cache

limits_config:
  max_query_parallelism: 32
  max_query_series: 500
  retention_period: 30d

compactor:
  working_directory: /loki/compactor
  compaction_interval: 10m
  retention_enabled: true
  retention_delete_delay: 2h

# 정확한 일치
{namespace="production", app="api-gateway"}

# 부정 일치
{namespace="production", app!="debug-tool"}

# 정규식 매칭
{namespace="production", app=~"api-.+"}

# 정규식 제외
{namespace=~"prod|staging", app!~"test-.+"}

# 문자열 포함 필터
{app="api-gateway"} |= "error"

# 문자열 미포함 필터
{app="api-gateway"} != "healthcheck"

# 정규식 필터
{app="api-gateway"} |~ "status=[45]\\d{2}"

# 정규식 제외 필터
{app="api-gateway"} !~ "GET /health"

# JSON 로그 파싱 - 모든 JSON 필드를 레이블로 추출
{app="api-gateway"} | json

# 특정 JSON 필드만 추출
{app="api-gateway"} | json level, method, duration

# logfmt 형식 파싱
{app="api-gateway"} | logfmt

# 정규식 파싱 - 패턴 매칭으로 필드 추출
{app="nginx"} | regexp `(?P<ip>\\S+) - - \\[(?P<ts>.+?)\\] "(?P<method>\\S+) (?P<path>\\S+)"`

# pattern 파서 - 간결한 패턴 매칭
{app="nginx"} | pattern `<ip> - - [<_>] "<method> <path> <_>" <status> <size>`

# 파싱 후 추출된 레이블로 필터링
{app="api-gateway"} | json | level="error"
{app="api-gateway"} | json | duration > 500ms
{app="api-gateway"} | json | status >= 400 and method="POST"

# 초당 로그 발생률 (로그 범위 집계)
rate({app="api-gateway"} |= "error" [5m])

# 특정 상태 코드의 초당 발생률
sum(rate({app="api-gateway"} | json | status >= 500 [5m])) by (method)

# 응답 시간 분포 (quantile 추출)
quantile_over_time(0.99, {app="api-gateway"} | json | unwrap duration [5m]) by (method)

# 바이트 단위 전송량 합계
sum(bytes_over_time({app="nginx"} [1h])) by (namespace)

# 에러율 계산 (에러 로그 수 / 전체 로그 수)
sum(rate({app="api-gateway"} | json | level="error" [5m]))
/
sum(rate({app="api-gateway"} [5m]))

# Promtail 설정 예시
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://loki-gateway:3100/loki/api/v1/push
    tenant_id: default

scrape_configs:
  - job_name: kubernetes-pods
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      # 네임스페이스 레이블 추가
      - source_labels: [__meta_kubernetes_namespace]
        target_label: namespace
      # 파드 이름 레이블 추가
      - source_labels: [__meta_kubernetes_pod_name]
        target_label: pod
      # 컨테이너 이름 레이블 추가
      - source_labels: [__meta_kubernetes_pod_container_name]
        target_label: container
    pipeline_stages:
      # Docker 로그 형식 파싱
      - docker: {}
      # JSON 로그 파싱
      - json:
          expressions:
            level: level
            msg: message
      # 레이블 설정
      - labels:
          level:
      # 타임스탬프 추출
      - timestamp:
          source: time
          format: RFC3339Nano

// Grafana Alloy 설정 예시 (River 문법)
discovery.kubernetes "pods" {
  role = "pod"
}

discovery.relabel "pod_logs" {
  targets = discovery.kubernetes.pods.targets

  rule {
    source_labels = ["__meta_kubernetes_namespace"]
    target_label  = "namespace"
  }

  rule {
    source_labels = ["__meta_kubernetes_pod_name"]
    target_label  = "pod"
  }

  rule {
    source_labels = ["__meta_kubernetes_pod_container_name"]
    target_label  = "container"
  }
}

loki.source.kubernetes "pod_logs" {
  targets    = discovery.relabel.pod_logs.output
  forward_to = [loki.process.pipeline.receiver]
}

loki.process "pipeline" {
  stage.json {
    expressions = {
      level   = "level",
      message = "msg",
    }
  }

  stage.labels {
    values = {
      level = "",
    }
  }

  forward_to = [loki.write.default.receiver]
}

loki.write "default" {
  endpoint {
    url = "http://loki-gateway:3100/loki/api/v1/push"
  }
}

# Loki Helm 차트 설치 (Simple Scalable 모드)
helm repo add grafana https://grafana.github.io/helm-charts
helm repo update

helm install loki grafana/loki \
  --namespace observability \
  --create-namespace \
  --values loki-values.yaml

# Grafana Alloy DaemonSet 설치
helm install alloy grafana/alloy \
  --namespace observability \
  --values alloy-values.yaml

# loki-alert-rules.yaml
groups:
  - name: application-errors
    rules:
      # HTTP 5xx 에러 급증 감지
      - alert: HighHTTP5xxRate
        expr: |
          sum(rate({namespace="production"} | json | status >= 500 [5m])) by (app)
          > 10
        for: 5m
        labels:
          severity: critical
          team: backend
        annotations:
          summary: 'HTTP 5xx 에러율 급증'
          description: '앱 {{ .Labels.app }}에서 5분간 초당 10건 이상의 5xx 에러가 발생하고 있습니다.'

      # 에러 로그 비율 감시
      - alert: HighErrorLogRatio
        expr: |
          sum(rate({namespace="production"} | json | level="error" [10m])) by (app)
          /
          sum(rate({namespace="production"} [10m])) by (app)
          > 0.05
        for: 10m
        labels:
          severity: warning
          team: platform
        annotations:
          summary: '에러 로그 비율 5% 초과'
          description: '앱 {{ .Labels.app }}의 에러 로그 비율이 10분간 5%를 초과했습니다.'

      # 로그 수집 중단 감지
      - alert: LogIngestionStopped
        expr: |
          sum(rate({namespace="production"} [15m])) by (app) == 0
        for: 15m
        labels:
          severity: critical
          team: platform
        annotations:
          summary: '로그 수집 중단 감지'
          description: '앱 {{ .Labels.app }}에서 15분간 로그가 수집되지 않고 있습니다.'

  - name: security-alerts
    rules:
      # 인증 실패 다수 발생
      - alert: BruteForceAttempt
        expr: |
          sum(rate({app="auth-service"} |= "authentication failed" [5m])) by (source_ip)
          > 5
        for: 2m
        labels:
          severity: critical
          team: security
        annotations:
          summary: '무차별 대입 공격 의심'
          description: 'IP {{ .Labels.source_ip }}에서 5분간 초당 5건 이상의 인증 실패가 발생했습니다.'

# Loki ruler 설정 블록
ruler:
  storage:
    type: local
    local:
      directory: /loki/rules
  rule_path: /loki/rules-temp
  alertmanager_url: http://alertmanager:9093
  ring:
    kvstore:
      store: memberlist
  enable_api: true
  evaluation_interval: 1m