Istio 관찰성 내부 구현: 메트릭, 트레이싱, 로깅

요청 흐름과 통계 생성 위치:

Listener (connection stats)
    │
    ▼
HTTP Connection Manager (request stats)
    │
    ├── JWT Authn Filter → 인증 성공/실패 카운터
    ├── RBAC Filter → 인가 허용/거부 카운터
    ├── Fault Filter → 주입된 지연/중단 카운터
    ├── Stats Filter (istio.stats) → Istio 표준 메트릭 생성
    └── Router Filter → 업스트림 요청 통계
    │
    ▼
Cluster (upstream stats)
    │
    ▼
Endpoint (connection/request stats)

요청 수를 추적하는 핵심 메트릭:

istio_requests_total{
  reporter="source",                    # 또는 "destination"
  source_workload="frontend",
  source_workload_namespace="prod",
  source_principal="spiffe://cluster.local/ns/prod/sa/frontend",
  destination_workload="reviews",
  destination_workload_namespace="prod",
  destination_principal="spiffe://cluster.local/ns/prod/sa/reviews",
  destination_service="reviews.prod.svc.cluster.local",
  destination_service_name="reviews",
  destination_service_namespace="prod",
  request_protocol="http",
  response_code="200",
  response_flags="-",
  connection_security_policy="mutual_tls"
}

요청 처리 시간 분포:

istio_request_duration_milliseconds_bucket{
  ...,  # 위와 동일한 라벨
  le="1"
} 100
istio_request_duration_milliseconds_bucket{le="5"} 250
istio_request_duration_milliseconds_bucket{le="10"} 380
istio_request_duration_milliseconds_bucket{le="25"} 450
istio_request_duration_milliseconds_bucket{le="50"} 490
istio_request_duration_milliseconds_bucket{le="100"} 498
istio_request_duration_milliseconds_bucket{le="+Inf"} 500

istio_tcp_sent_bytes_total         # 전송된 바이트 총량
istio_tcp_received_bytes_total     # 수신된 바이트 총량
istio_tcp_connections_opened_total # 열린 연결 수
istio_tcp_connections_closed_total # 닫힌 연결 수

Frontend Pod                    Reviews Pod
[App] → [Envoy]  ──────→  [Envoy] → [App]
         │                    │
    reporter="source"    reporter="destination"
    (아웃바운드 측 기록)   (인바운드 측 기록)

Istio 1.x (Mixer 기반):
App → Envoy → Mixer → Prometheus/Zipkin
              (별도 서비스, 높은 레이턴시)

Istio 1.12+ (Telemetry API v2):
App → Envoy (내장 Stats/Trace 필터) → Prometheus/Zipkin
      (프록시 내부 처리, 낮은 레이턴시)

apiVersion: telemetry.istio.io/v1alpha1
kind: Telemetry
metadata:
  name: mesh-default
  namespace: istio-system # 메시 전체 적용
spec:
  # 메트릭 설정
  metrics:
    - providers:
        - name: prometheus
      overrides:
        - match:
            metric: REQUEST_COUNT
            mode: CLIENT_AND_SERVER
          tagOverrides:
            request_host:
              operation: UPSERT
              value: 'request.host'

  # 트레이싱 설정
  tracing:
    - providers:
        - name: zipkin
      randomSamplingPercentage: 1.0
      customTags:
        environment:
          literal:
            value: 'production'

  # 액세스 로깅 설정
  accessLogging:
    - providers:
        - name: envoy
      filter:
        expression: 'response.code >= 400'

# 특정 메트릭 비활성화
spec:
  metrics:
  - providers:
    - name: prometheus
    overrides:
    - match:
        metric: REQUEST_BYTES
      disabled: true

# 커스텀 태그 추가
    overrides:
    - match:
        metric: REQUEST_COUNT
      tagOverrides:
        custom_tag:
          operation: UPSERT
          value: "request.headers['x-custom-tag']"

Envoy가 자동으로 수행하는 것:
├── 인바운드 요청에서 트레이스 헤더 추출
├── 스팬(span) 생성 및 타이밍 기록
├── 스팬을 트레이스 수집기에 전송
└── 아웃바운드 요청에 트레이스 헤더 추가

애플리케이션이 해야 하는 것:
└── 인바운드 요청의 트레이스 헤더를 아웃바운드 요청에 복사
    (이것을 하지 않으면 트레이스가 끊어짐)

x-b3-traceid:      128비트 트레이스 ID
x-b3-spanid:       64비트 스팬 ID
x-b3-parentspanid: 64비트 부모 스팬 ID
x-b3-sampled:      샘플링 여부 (0 또는 1)
x-b3-flags:        디버그 플래그

traceparent: 00-TRACE_ID-SPAN_ID-FLAGS
tracestate:  vendor-specific key=value pairs

x-request-id: Envoy가 생성하는 UUID (트레이스와 연결)

Frontend → Reviews → Ratings 호출 시:

Frontend Envoy (아웃바운드):
  Span: "reviews.prod.svc.cluster.local:9080/*"
  ├── Start: 요청 전송 시작
  ├── End: 응답 수신 완료
  ├── Tags: upstream_cluster, http.method, http.status_code
  └── Parent: 인바운드 스팬

Reviews Envoy (인바운드):
  Span: "reviews.prod.svc.cluster.local:9080/*"
  ├── Start: 요청 수신
  ├── End: 응답 전송
  └── Tags: downstream_cluster, peer.address

Reviews Envoy (아웃바운드):
  Span: "ratings.prod.svc.cluster.local:9080/*"
  ├── Start: 요청 전송 시작
  ├── End: 응답 수신 완료
  └── Parent: 인바운드 스팬

# MeshConfig에서 설정
meshConfig:
  defaultConfig:
    tracing:
      sampling: 1.0 # 1% (기본값)
      # sampling: 100.0  # 100% (디버깅용)

# 또는 Telemetry API로 설정
apiVersion: telemetry.istio.io/v1alpha1
kind: Telemetry
metadata:
  name: tracing
spec:
  tracing:
    - randomSamplingPercentage: 1.0

# Zipkin 통합
meshConfig:
  defaultConfig:
    tracing:
      zipkin:
        address: zipkin.istio-system:9411

# Jaeger 통합 (Zipkin 호환 엔드포인트 사용)
meshConfig:
  defaultConfig:
    tracing:
      zipkin:
        address: jaeger-collector.observability:9411

# OpenTelemetry Collector 통합
meshConfig:
  extensionProviders:
  - name: otel
    opentelemetry:
      service: otel-collector.observability.svc.cluster.local
      port: 4317

[2026-03-20T10:30:00.000Z] "GET /api/reviews HTTP/1.1" 200 - via_upstream
  - "-" 0 1234 5 3
  "-" "curl/7.68.0" "abc-123-def"
  "reviews.prod.svc.cluster.local:9080"
  inbound|9080||reviews.prod.svc.cluster.local
  10.244.1.5:9080 10.244.0.3:48292
  outbound_.9080_.v1_.reviews.prod.svc.cluster.local default

[타임스탬프] "메서드 경로 프로토콜" 상태코드 응답플래그
  - "-" 요청바이트 응답바이트 처리시간(ms) 업스트림시간(ms)
  "-" "User-Agent" "Request-ID"
  "업스트림 호스트"
  라우트 이름
  다운스트림 주소 업스트림 주소
  클러스터 이름 네임스페이스

apiVersion: telemetry.istio.io/v1alpha1
kind: Telemetry
metadata:
  name: access-log-errors
  namespace: production
spec:
  accessLogging:
    - providers:
        - name: envoy
      filter:
        expression: 'response.code >= 400 || connection.mtls == false'

Kiali 데이터 소스:
├── Prometheus → 메트릭 기반 서비스 그래프
├── Kubernetes API → 워크로드, 서비스 정보
├── Istio Config API → VirtualService, DestinationRule 등
└── Jaeger/Tempo → 분산 트레이스 (선택사항)

1. 서비스 그래프 (Topology)
   ├── 서비스 간 트래픽 흐름
   ├── 요청 성공/실패 비율
   ├── 초당 요청 수
   └── 응답 시간

2. 워크로드 건강 상태
   ├── 에러율 기반 건강 점수
   ├── 인바운드/아웃바운드 메트릭
   └── Pod 상태

3. Istio 구성 검증
   ├── VirtualService 유효성
   ├── DestinationRule 충돌 감지
   ├── 참조 무결성 (존재하지 않는 host 등)
   └── 베스트 프랙티스 위반

4. 트래픽 분석
   ├── 시간별 트래픽 추이
   ├── 에러 패턴 식별
   └── 레이턴시 분포

# Prometheus scrape 구성
scrape_configs:
  - job_name: 'envoy-stats'
    metrics_path: /stats/prometheus
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_container_name]
        action: keep
        regex: istio-proxy
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_port]
        action: replace
        target_label: __address__
        regex: (.+)
        replacement: 'target:15090'

# 서비스별 요청 성공률 (최근 5분)
sum(rate(istio_requests_total{
  response_code!~"5.*",
  reporter="destination"
}[5m])) by (destination_service_name)
/
sum(rate(istio_requests_total{
  reporter="destination"
}[5m])) by (destination_service_name)

# P99 레이턴시
histogram_quantile(0.99,
  sum(rate(istio_request_duration_milliseconds_bucket{
    reporter="source"
  }[5m])) by (le, destination_service_name)
)

# 서비스별 초당 요청 수
sum(rate(istio_requests_total{
  reporter="destination"
}[5m])) by (destination_service_name)

1. Mesh Dashboard
   └── 메시 전체 요약 (서비스 수, 에러율, 트래픽)

2. Service Dashboard
   └── 서비스별 상세 (인바운드/아웃바운드, 에러율, 레이턴시)

3. Workload Dashboard
   └── 워크로드별 상세 (파드 단위 메트릭)

4. Control Plane Dashboard
   └── istiod 성능 (xDS 푸시 수, 응답 시간, 에러)

5. Performance Dashboard
   └── Envoy 리소스 사용량 (메모리, CPU, 연결 수)

지원하는 트레이싱 백엔드:

Zipkin
├── 경량, 간단한 설치
├── 인메모리 또는 Cassandra/Elasticsearch 저장
└── Istio 기본 지원

Jaeger
├── Zipkin 호환 API
├── 다양한 스토리지 백엔드 지원
├── Spark 기반 분석
└── 프로덕션 권장

Tempo (Grafana)
├── 오브젝트 스토리지 기반 (S3, GCS)
├── 높은 확장성
├── Grafana와 네이티브 통합
└── 비용 효율적

[1] 요청이 메시 진입
        │
[2] 첫 번째 Envoy가 트레이스 ID 생성
    (기존 헤더가 없는 경우)
        │
[3] 각 Envoy가 스팬 생성 및 수집기에 전송
    ├── Zipkin: HTTP POST /api/v2/spans
    ├── Jaeger: UDP/gRPC
    └── OTLP: gRPC (OpenTelemetry)
        │
[4] 수집기가 스팬을 트레이스로 조합
        │
[5] UI에서 트레이스 조회

# 특정 파드의 Envoy 메트릭 직접 확인
kubectl exec PODNAME -c istio-proxy -- \
  curl -s localhost:15090/stats/prometheus | grep istio_requests

# Envoy 관리 API로 통계 확인
kubectl exec PODNAME -c istio-proxy -- \
  curl -s localhost:15000/stats | grep -E "^cluster\."

# Envoy 서버 정보
kubectl exec PODNAME -c istio-proxy -- \
  curl -s localhost:15000/server_info

# 트레이스 헤더 전파 확인
kubectl exec PODNAME -c istio-proxy -- \
  curl -s localhost:15000/config_dump | python3 -c "
import json, sys
config = json.load(sys.stdin)
for c in config.get('configs', []):
    if 'tracing' in str(c):
        print(json.dumps(c, indent=2))
"

# 실시간 액세스 로그 확인
kubectl logs PODNAME -c istio-proxy -f | grep -v healthz

# 에러 응답만 필터링
kubectl logs PODNAME -c istio-proxy | grep -E '"[45][0-9]{2}"'