HubbleとClusterMesh — Ciliumの可観測性とマルチクラスタ運用

+------------------- ノード1 ------------------+
|  [eBPFデータパス]                             |
|       | perfリングバッファ (フローイベント)    |
|       v                                      |
|  [cilium-agent内のHubbleサーバ]               |
|   - ノードローカルのリングバッファにフロー保管 |
|   - gRPC API (unixソケット / 4244)           |
+------------------+---------------------------+
                   |
+------------------- ノード2 ... N -------------+
|  (同一構造)       |                            |
+------------------+---------------------------+
                   |
                   v  (全ノードの4244へ接続)
            [hubble-relay]  :4245
             - クラスタ全体のフローを単一APIに集約
                   |
        +----------+-----------+
        v                      v
   [hubble CLI]           [hubble-ui]
   (運用/デバッグ)         (サービスマップ可視化)

cilium hubble enable --ui          # Hubble + relay + UI を有効化
cilium hubble port-forward &       # localhost:4245 でrelayに接続
hubble status                      # フロー受信状態の確認

# クラスタ全体でドロップされたフローをリアルタイム観察
hubble observe --verdict DROPPED -f

# 特定名前空間のドロップ + 理由まで
hubble observe --verdict DROPPED --namespace payments \
  --output json | jq -r '.flow.drop_reason_desc' | sort | uniq -c

# ポリシー拒否だけを抽出 (ドロップ理由フィルタ)
hubble observe --verdict DROPPED --drop-reason-desc POLICY_DENIED

# 特定Podから出るトラフィックのうち拒否されたもの
hubble observe --from-pod payments/pg-gateway --verdict DROPPED

# 特定の2ワークロード間のすべてのフロー (方向不問)
hubble observe --pod shop/frontend --pod shop/backend

# order-apiが呼び出す先の整理 (egress依存関係)
hubble observe --from-pod shop/order-api --type trace:to-endpoint \
  --output json | jq -r '.flow.destination.namespace + "/" + (.flow.destination.labels | join(","))' \
  | sort | uniq -c | sort -rn

# DNSクエリ履歴 (どの外部ドメインを探しているか)
hubble observe --from-namespace payments --protocol dns \
  --output json | jq -r '.flow.l7.dns.query' | sort | uniq -c

# L7 HTTP観察 (L7ポリシーまたは可視性アノテーションが必要)
hubble observe --namespace shop --protocol http \
  --output json | jq -r '[.flow.l7.http.method, .flow.l7.http.url, (.flow.l7.http.code|tostring)] | join(" ")'

# 時間範囲 + ラベルセレクタの組み合わせ
hubble observe --since 30m --label app=checkout --verdict FORWARDED

hubble:
  enabled: true
  metrics:
    enableOpenMetrics: true
    enabled:
      - dns:query;labelsContext=source_namespace,destination_namespace
      - drop:labelsContext=source_namespace,destination_namespace;sourceContext=workload-name
      - tcp
      - flow
      - port-distribution
      - httpV2:exemplars=true;labelsContext=source_namespace,source_workload,destination_namespace,destination_workload

# リクエストレート (RPS)
sum(rate(hubble_http_requests_total{destination_namespace="shop"}[5m]))
  by (destination_workload)

# 5xxエラー率
sum(rate(hubble_http_requests_total{status=~"5.."}[5m]))
  / sum(rate(hubble_http_requests_total[5m]))

# p99レイテンシ
histogram_quantile(0.99,
  sum(rate(hubble_http_request_duration_seconds_bucket[5m])) by (le, destination_workload))

groups:
  - name: cilium-policy
    rules:
      - alert: PolicyDropSpike
        expr: |
          sum(rate(hubble_drop_total{reason="POLICY_DENIED"}[5m]))
            by (source_namespace, destination_namespace) > 1
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: 'Policy drops between namespaces exceeded threshold'
      - alert: CiliumAgentDown
        expr: up{job="cilium-agent"} == 0
        for: 5m
        labels:
          severity: critical

hubble:
  export:
    fileMaxSizeMb: 50
    fileMaxBackups: 10
    dynamic:
      enabled: true
      config:
        content:
          - name: security-events
            filePath: /var/run/cilium/hubble/security.log
            includeFilters:
              - verdict: ["DROPPED", "AUDIT"]
          - name: dns-all
            filePath: /var/run/cilium/hubble/dns.log
            includeFilters:
              - protocol: ["dns"]

ノード: hubble exportファイル (JSON lines)
   -> ログ収集器 (Fluent Bit / Vector / OTel Collector)
   -> バッファ (Kafkaなど、任意)
   -> 保存/分析 (Elasticsearch, Loki, S3+Athena, SIEM)

+--------- クラスタA (id=1) -----------+      +--------- クラスタB (id=2) -----------+
|                                      |      |                                      |
|  [cilium-agent x N]                  |      |  [cilium-agent x N]                  |
|       |  (読み取り)                   |      |       |  (読み取り)                  |
|       v                              |      |       v                              |
|  [clustermesh-apiserver]  <----------+------+--- エージェントが相手クラスタの      |
|   - 自クラスタのサービス/identity/    |      |    apiserverに接続し状態をwatch      |
|     エンドポイントをetcd形式で公開    |      |                                      |
|   - LoadBalancer/NodePortで公開      |      |  [clustermesh-apiserver]             |
|                                      |      |                                      |
|  PodCIDR: 10.1.0.0/16 (重複禁止!)    |      |  PodCIDR: 10.2.0.0/16 (重複禁止!)    |
+--------------------------------------+      +--------------------------------------+

同期されるもの: サービス(グローバル)、identity、ipcache(リモートPod IP -> identity)
同期後: Pod間トラフィックは両クラスタのデータパスが直接ルーティング (中間ゲートウェイなし)

# クラスタA helm values
cluster:
  name: cluster-a
  id: 1
clustermesh:
  useAPIServer: true
  apiserver:
    service:
      type: LoadBalancer

# 1) クラスタAのCAをクラスタBにコピー (同じCAを共有)
kubectl --context cluster-a -n kube-system get secret cilium-ca -o yaml \
  | kubectl --context cluster-b apply -f -

# 2) 両側でClusterMeshを有効化
cilium clustermesh enable --context cluster-a
cilium clustermesh enable --context cluster-b

# 3) 相互接続 (双方向ピアリングを自動構成)
cilium clustermesh connect --context cluster-a --destination-context cluster-b

# 4) 状態と接続性の検証
cilium clustermesh status --context cluster-a --wait
cilium connectivity test --context cluster-a --multi-cluster cluster-b

# 両クラスタに同一に配備
apiVersion: v1
kind: Service
metadata:
  name: checkout
  namespace: shop
  annotations:
    service.cilium.io/global: "true"
    service.cilium.io/affinity: "local"   # ローカルバックエンド優先、なければリモート
spec:
  selector:
    app: checkout
  ports:
    - port: 80
      targetPort: 8080

apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: allow-cross-cluster-checkout
  namespace: shop
spec:
  endpointSelector:
    matchLabels:
      app: checkout-db
  ingress:
    - fromEndpoints:
        - matchLabels:
            app: checkout
            io.cilium.k8s.policy.cluster: cluster-a   # 特定クラスタからのみ

# WireGuardの有効化 (helm)
helm upgrade cilium cilium/cilium -n kube-system \
  --reuse-values --set encryption.enabled=true --set encryption.type=wireguard

# 暗号化状態の確認
kubectl -n kube-system exec ds/cilium -- cilium encrypt status

# 追加: CA共有 -> enable -> connect (前述の手順と同じ)

# 削除: グローバルサービスの依存から整理が必要
# 1) 削除対象クラスタへのaffinity/トラフィックを先に排除
# 2) 接続解除
cilium clustermesh disconnect --context cluster-a --destination-context cluster-c
# 3) 残りのクラスタで状態確認
cilium clustermesh status --context cluster-a

# メッシュ状態の中心コマンド
cilium clustermesh status --context cluster-a

# エージェント視点のリモートクラスタ同期状態
kubectl -n kube-system exec ds/cilium -- cilium status --verbose | grep -A10 ClusterMesh