Ciliumデータパスアーキテクチャ — kube-proxyのないクラスタの内部

[外部クライアント]
      |
      v
+---------------------------------------------------------------+
| ノード (Linuxカーネル)                                          |
|                                                               |
|  NIC受信                                                      |
|   |                                                           |
|   v                                                           |
|  [XDPフック] ──────── bpf_xdp.o                               |
|   |  - NodePort高速化、DDoSフィルタリング、LB（ドライバレベル）   |
|   |  - ここでDROP/TX(折り返し)/PASSを決定                       |
|   v                                                           |
|  [tc ingressフック] ── bpf_host.o (cil_from_netdev)           |
|   |  - サービス変換: ClusterIP/NodePort -> バックエンドPod IP   |
|   |    (cilium_lb4_services_v2, cilium_lb4_backends マップ)    |
|   |  - conntrack記録 (cilium_ct4_global マップ)               |
|   |  - ipcacheルックアップ: 宛先IP -> identity                 |
|   v                                                           |
|  ルーティング/リダイレクト (bpf_redirect_peer でveth越え)        |
|   |                                                           |
|   v                                                           |
|  [Pod lxcインターフェース] ── bpf_lxc.o (cil_to_container)     |
|   |  - ポリシー評価: src identity + dst port/proto マッチ      |
|   |    (エンドポイント別 cilium_policy_v2 マップ)               |
|   v                                                           |
|  [Podネットワーク名前空間 -> アプリケーションソケット]            |
+---------------------------------------------------------------+

NIC -> netfilter PREROUTING
        -> KUBE-SERVICES チェーン (サービス数分のルールを線形走査)
        -> KUBE-SVC-XXXX (確率ベースのDNAT分岐、バックエンド数分)
        -> KUBE-SEP-XXXX (DNAT実行)
      -> conntrack (nf_conntrack テーブル)
      -> FORWARD チェーン -> CNIブリッジ/ルーティング -> veth -> Pod

サービスルックアップの流れ (簡略化)

  宛先 10.96.0.10:443 (ClusterIP)
        |
        v
  cilium_lb4_services_v2  マップ
    key:   (IP, port, scope)
    value: (backend count, rev_nat index, flags)
        |
        v
  cilium_lb4_backends_v3  マップ
    key:   backend id
    value: (pod IP, port, state)
        |
        v
  DNAT実行 + cilium_lb4_reverse_nat に逆変換を記録

# helm values - KPR + DSR + Maglev の例
kubeProxyReplacement: true
loadBalancer:
  mode: dsr
  algorithm: maglev
  acceleration: native     # XDP高速化 (対応NICのみ)
maglev:
  tableSize: 16381         # バックエンド数 x 100 より大きい素数を推奨

Podラベル                          identity (数値)
---------------------------       ----------------
app=frontend, env=prod      --->  identity 51234
app=backend,  env=prod      --->  identity 60917
(予約) host                 --->  1
(予約) world                --->  2
(予約) remote-node          --->  6

ipcacheマップ: IP/CIDR -> identity
  10.0.1.23/32 -> 51234
  10.0.2.40/32 -> 60917
  0.0.0.0/0    -> 2 (world)

# identityとipcacheを直接確認
kubectl -n kube-system exec ds/cilium -- cilium identity list
kubectl -n kube-system exec ds/cilium -- cilium bpf ipcache list
kubectl -n kube-system exec ds/cilium -- cilium endpoint list

トンネルモード (VXLAN/Geneve)           ネイティブルーティング
+--------+  カプセル化  +--------+      +--------+  素のIP   +--------+
| node A | ==========> | node B |      | node A | --------> | node B |
+--------+  UDP 8472   +--------+      +--------+ ルータ/BGP +--------+
 Podパケットを外部ヘッダで包む            ネットワークがPodCIDRの経路を知る必要

# ネイティブルーティング + BGP の例 (helm values)
routingMode: native
ipv4NativeRoutingCIDR: 10.0.0.0/8
autoDirectNodeRoutes: true     # 同一L2の場合にノード間直接経路を設置
bgpControlPlane:
  enabled: true                # CiliumBGPPeeringPolicy/ClusterConfig を使用

helm repo add cilium https://helm.cilium.io/
helm repo update

# kube-proxyなしでクラスタを作成したか、削除済みであることを想定
helm install cilium cilium/cilium \
  --version 1.18.5 \
  --namespace kube-system \
  -f values.yaml

# values.yaml — kube-proxy代替 + Hubble有効化の基本形
kubeProxyReplacement: true
k8sServiceHost: api.mycluster.internal   # KPR時はAPIサーバの直接指定が必須
k8sServicePort: 6443

routingMode: tunnel
tunnelProtocol: vxlan

ipam:
  mode: cluster-pool
  operator:
    clusterPoolIPv4PodCIDRList:
      - 10.128.0.0/12
    clusterPoolIPv4MaskSize: 24

hubble:
  enabled: true
  relay:
    enabled: true
  ui:
    enabled: true

operator:
  replicas: 2

prometheus:
  enabled: true

# インストール状態の総合チェック
cilium status --wait

# クラスタ全体の接続性テスト (テストPodを自動デプロイ)
cilium connectivity test

# 設定の確認
cilium config view | grep -i kube-proxy

# 1) リリースノートのアップグレードガイドを必ず確認 (マイナーバージョンの飛ばしは禁止)
# 2) pre-flight検査で新イメージの事前プルとCRD互換性を確認
helm install cilium-preflight cilium/cilium --version 1.18.5 \
  --namespace kube-system \
  --set preflight.enabled=true \
  --set agent=false --set operator.enabled=false

# 3) preflight正常確認後に本アップグレード
helm upgrade cilium cilium/cilium --version 1.18.5 \
  --namespace kube-system -f values.yaml

# 4) ローリング再起動の状態を観察
kubectl -n kube-system rollout status ds/cilium

# 1) KPRモードの確認 - "True" 表示を確認
kubectl -n kube-system exec ds/cilium -- cilium status --verbose | grep -A3 KubeProxyReplacement

# 2) サービスがeBPFマップに入ったか確認
kubectl -n kube-system exec ds/cilium -- cilium service list
kubectl -n kube-system exec ds/cilium -- cilium bpf lb list

# 3) kube-proxyが本当にないか、iptablesの痕跡を確認
kubectl -n kube-system get ds kube-proxy 2>&1 || echo "kube-proxyなし - 正常"
iptables-save | grep -c KUBE-SVC || echo "KUBE-SVCチェーンなし - 正常"

# 4) 実際の接続テスト
kubectl run probe --image=curlimages/curl --rm -it --restart=Never -- \
  curl -s -o /dev/null -w "%{http_code}\n" http://my-service.default.svc.cluster.local

# リアルタイムのデータパスイベント観察 (ドロップ理由を含む)
kubectl -n kube-system exec ds/cilium -- cilium monitor --type drop
kubectl -n kube-system exec ds/cilium -- cilium monitor --type policy-verdict

# 特定エンドポイントの詳細 (ポリシー状態、identityの確認)
kubectl -n kube-system exec ds/cilium -- cilium endpoint list
kubectl -n kube-system exec ds/cilium -- cilium endpoint get 1234

# conntrack/NATマップの直接照会
kubectl -n kube-system exec ds/cilium -- cilium bpf ct list global | head
kubectl -n kube-system exec ds/cilium -- cilium bpf nat list | head

# 総合診断バンドルの収集 (イシューレポート添付用)
cilium sysdump
# またはノード単位で
kubectl -n kube-system exec ds/cilium -- cilium-bugtool