Observabilityデータパイプラインのコスト最適化：サンプリング・フィルタリング・ティアリング戦略

[生成] --> [収集/転送] --> [処理/加工] --> [インデクシング] --> [保存] --> [クエリ]
  |            |              |             |            |          |
 SDK       ネットワーク     Collector      バックエンド  ストレージ  コンピュート
 オーバーヘッド  帯域幅       CPU/メモリ     I/O         ディスク/S3  クエリコスト

# OpenTelemetry Collector - Tail Sampling設定
processors:
  tail_sampling:
    decision_wait: 30s
    num_traces: 100000
    expected_new_traces_per_sec: 1000
    policies:
      # エラーのあるトレースは100%保持
      - name: error-policy
        type: status_code
        status_code:
          status_codes:
            - ERROR

      # 500ms以上のレイテンシは100%保持
      - name: latency-policy
        type: latency
        latency:
          threshold_ms: 500

      # 決済・認証など重要サービスは100%保持
      - name: critical-service-policy
        type: string_attribute
        string_attribute:
          key: service.name
          values:
            - payment-service
            - auth-service

      # その他の正常トレースは5%のみ
      - name: normal-traffic-policy
        type: probabilistic
        probabilistic:
          sampling_percentage: 5

[サービス] --OTLP--> [Agent Collector (DaemonSet)]
                          |
                    トレースIDベースルーティング
                          |
                    [Gateway Collector] --> [Tempo/Jaeger]
                    (Tail Sampling実行)

processors:
  # DEBUG/TRACEログのドロップ
  filter/drop-debug:
    error_mode: ignore
    logs:
      log_record:
        - 'severity_number < SEVERITY_NUMBER_INFO'

  # ヘルスチェックログのドロップ
  filter/drop-healthcheck:
    error_mode: ignore
    logs:
      log_record:
        - 'IsMatch(body, ".*GET /health.*")'
        - 'IsMatch(body, ".*GET /readyz.*")'
        - 'IsMatch(body, ".*kube-probe.*")'

  # 不要な属性の除去でペイロード削減
  transform/reduce-attributes:
    error_mode: ignore
    log_statements:
      - context: log
        statements:
          - delete_key(attributes, "log.file.path")
          - delete_key(attributes, "log.iostream")
          - truncate_all(attributes, 256)
          - limit(attributes, 20)

# Collector内部メトリクスでフィルタリング効果を測定
RECEIVED=$(curl -s http://localhost:8888/metrics | \
  grep 'otelcol_receiver_accepted_log_records' | \
  awk '{sum += $2} END {print sum}')

EXPORTED=$(curl -s http://localhost:8888/metrics | \
  grep 'otelcol_exporter_sent_log_records' | \
  awk '{sum += $2} END {print sum}')

if [ "$RECEIVED" -gt 0 ]; then
  DROP_RATE=$(echo "scale=2; (1 - $EXPORTED / $RECEIVED) * 100" | bc)
  echo "受信ログ: $RECEIVED"
  echo "送信ログ: $EXPORTED"
  echo "ドロップ率: ${DROP_RATE}%"
fi

processors:
  # メトリクス属性の変換でカーディナリティを制御
  transform/normalize-url:
    error_mode: ignore
    metric_statements:
      - context: datapoint
        statements:
          - replace_pattern(attributes["url.path"], "^/api/users/[^/]+", "/api/users/:id")
          - replace_pattern(attributes["url.path"], "^/api/orders/[^/]+", "/api/orders/:id")
          - delete_key(attributes, "user.id")
          - delete_key(attributes, "request.id")

# 1. Collectorのメモリ使用量を確認
kubectl top pods -n observability -l app=otel-gateway

# 2. pprofでメモリプロファイリング
curl -s http://localhost:1777/debug/pprof/heap > heap.prof
go tool pprof -top heap.prof

# 3. Tail Samplingキューの状態を確認
curl -s http://localhost:8888/metrics | grep tail_sampling

# Prometheusで上位メトリクスを確認
curl -s http://prometheus:9090/api/v1/status/tsdb | \
  jq '.data.seriesCountByMetricName | sort_by(-.value) | .[0:10]'

# 特定メトリクスのラベルカーディナリティを分析
curl -s 'http://prometheus:9090/api/v1/query?query=count(http_server_request_duration_seconds_bucket) by (service_name)' | \
  jq '.data.result | sort_by(-.value[1] | tonumber) | .[0:10]'