Cilium 데이터패스 아키텍처 — kube-proxy 없는 클러스터의 내부

[외부 클라이언트]
      |
      v
+---------------------------------------------------------------+
| 노드 (Linux 커널)                                              |
|                                                               |
|  NIC 수신                                                     |
|   |                                                           |
|   v                                                           |
|  [XDP 훅] ──────── bpf_xdp.o                                  |
|   |  - NodePort 가속, DDoS 필터링, LB (드라이버 레벨)           |
|   |  - 여기서 DROP/TX(되반사)/PASS 결정                        |
|   v                                                           |
|  [tc ingress 훅] ── bpf_host.o (cil_from_netdev)              |
|   |  - 서비스 변환: ClusterIP/NodePort -> 백엔드 파드 IP        |
|   |    (cilium_lb4_services_v2, cilium_lb4_backends 맵 룩업)   |
|   |  - conntrack 기록 (cilium_ct4_global 맵)                  |
|   |  - ipcache 룩업: 목적지 IP -> identity                     |
|   v                                                           |
|  라우팅/리다이렉트 (bpf_redirect_peer 로 veth 건너뜀)            |
|   |                                                           |
|   v                                                           |
|  [파드 lxc 인터페이스] ── bpf_lxc.o (cil_to_container)          |
|   |  - 정책 평가: src identity + dst port/proto 매칭           |
|   |    (cilium_policy_v2 per-endpoint 맵)                     |
|   v                                                           |
|  [파드 네트워크 네임스페이스 -> 애플리케이션 소켓]                |
+---------------------------------------------------------------+

NIC -> netfilter PREROUTING
        -> KUBE-SERVICES 체인 (서비스 수만큼 규칙 선형 순회)
        -> KUBE-SVC-XXXX (확률 기반 DNAT 분기, 백엔드 수만큼 규칙)
        -> KUBE-SEP-XXXX (DNAT 실행)
      -> conntrack (nf_conntrack 테이블)
      -> FORWARD 체인 -> CNI 브리지/라우팅 -> veth -> 파드

서비스 룩업 흐름 (단순화)

  목적지 10.96.0.10:443 (ClusterIP)
        |
        v
  cilium_lb4_services_v2  맵
    key:   (IP, port, scope)
    value: (backend count, rev_nat index, flags)
        |
        v
  cilium_lb4_backends_v3  맵
    key:   backend id
    value: (pod IP, port, state)
        |
        v
  DNAT 수행 + cilium_lb4_reverse_nat 에 역변환 기록

# helm values - KPR + DSR + Maglev 예시
kubeProxyReplacement: true
loadBalancer:
  mode: dsr
  algorithm: maglev
  acceleration: native     # XDP 가속 (지원 NIC 한정)
maglev:
  tableSize: 16381         # 백엔드 수 x 100 보다 큰 소수 권장

파드 라벨                          identity (숫자)
---------------------------       ----------------
app=frontend, env=prod      --->  identity 51234
app=backend,  env=prod      --->  identity 60917
(예약) host                 --->  1
(예약) world                --->  2
(예약) remote-node          --->  6

ipcache 맵: IP/CIDR -> identity
  10.0.1.23/32 -> 51234
  10.0.2.40/32 -> 60917
  0.0.0.0/0    -> 2 (world)

# identity와 ipcache 직접 확인
kubectl -n kube-system exec ds/cilium -- cilium identity list
kubectl -n kube-system exec ds/cilium -- cilium bpf ipcache list
kubectl -n kube-system exec ds/cilium -- cilium endpoint list

터널 모드 (VXLAN/Geneve)                네이티브 라우팅
+--------+   캡슐화   +--------+        +--------+  일반 IP  +--------+
| node A | =========> | node B |        | node A | --------> | node B |
+--------+ UDP 8472   +--------+        +--------+ 라우터/BGP +--------+
 파드 패킷을 외부 헤더로 감쌈              네트워크가 PodCIDR 경로를 알아야 함

# 네이티브 라우팅 + BGP 예시 (helm values)
routingMode: native
ipv4NativeRoutingCIDR: 10.0.0.0/8
autoDirectNodeRoutes: true     # 같은 L2일 때 노드 간 직접 경로 설치
bgpControlPlane:
  enabled: true                # CiliumBGPPeeringPolicy/ClusterConfig 사용

helm repo add cilium https://helm.cilium.io/
helm repo update

# kube-proxy 없이 클러스터를 만들었거나 제거한 상태를 가정
helm install cilium cilium/cilium \
  --version 1.18.5 \
  --namespace kube-system \
  -f values.yaml

# values.yaml — kube-proxy 대체 + Hubble 활성화 기본형
kubeProxyReplacement: true
k8sServiceHost: api.mycluster.internal   # KPR 시 API 서버 직접 지정 필수
k8sServicePort: 6443

routingMode: tunnel
tunnelProtocol: vxlan

ipam:
  mode: cluster-pool
  operator:
    clusterPoolIPv4PodCIDRList:
      - 10.128.0.0/12
    clusterPoolIPv4MaskSize: 24

hubble:
  enabled: true
  relay:
    enabled: true
  ui:
    enabled: true

operator:
  replicas: 2

prometheus:
  enabled: true

# 설치 상태 종합 점검
cilium status --wait

# 클러스터 전반 연결성 테스트 (테스트 파드 자동 배포)
cilium connectivity test

# 설정 확인
cilium config view | grep -i kube-proxy

# 1) 릴리스 노트의 업그레이드 가이드 필수 확인 (마이너 버전 건너뛰기 금지)
# 2) pre-flight 검사로 새 이미지 사전 풀링 및 CRD 호환 확인
helm install cilium-preflight cilium/cilium --version 1.18.5 \
  --namespace kube-system \
  --set preflight.enabled=true \
  --set agent=false --set operator.enabled=false

# 3) preflight 정상 확인 후 본 업그레이드
helm upgrade cilium cilium/cilium --version 1.18.5 \
  --namespace kube-system -f values.yaml

# 4) 롤링 재시작 상태 관찰
kubectl -n kube-system rollout status ds/cilium

# 1) KPR 모드 확인 - "True" 표시 확인
kubectl -n kube-system exec ds/cilium -- cilium status --verbose | grep -A3 KubeProxyReplacement

# 2) 서비스가 eBPF 맵에 들어왔는지 확인
kubectl -n kube-system exec ds/cilium -- cilium service list
kubectl -n kube-system exec ds/cilium -- cilium bpf lb list

# 3) kube-proxy가 정말 없는지, iptables 흔적 확인
kubectl -n kube-system get ds kube-proxy 2>&1 || echo "kube-proxy 없음 - 정상"
iptables-save | grep -c KUBE-SVC || echo "KUBE-SVC 체인 없음 - 정상"

# 4) 실제 연결 테스트
kubectl run probe --image=curlimages/curl --rm -it --restart=Never -- \
  curl -s -o /dev/null -w "%{http_code}\n" http://my-service.default.svc.cluster.local

# 실시간 데이터패스 이벤트 관찰 (드롭 사유 포함)
kubectl -n kube-system exec ds/cilium -- cilium monitor --type drop
kubectl -n kube-system exec ds/cilium -- cilium monitor --type policy-verdict

# 특정 엔드포인트 상세 (정책 상태, identity 확인)
kubectl -n kube-system exec ds/cilium -- cilium endpoint list
kubectl -n kube-system exec ds/cilium -- cilium endpoint get 1234

# conntrack/NAT 맵 직접 조회
kubectl -n kube-system exec ds/cilium -- cilium bpf ct list global | head
kubectl -n kube-system exec ds/cilium -- cilium bpf nat list | head

# 종합 진단 번들 수집 (이슈 리포트 첨부용)
cilium sysdump
# 또는 노드 단위로
kubectl -n kube-system exec ds/cilium -- cilium-bugtool