Kubernetes Istio Ambient Mesh 실전 가이드: 사이드카 없는 서비스 메시의 새 패러다임

+------------------------------------------------------------------+
|                    Istio Ambient Mesh 아키텍처                      |
+------------------------------------------------------------------+
|                                                                    |
|  [Service A Pod]    [Service B Pod]    [Service C Pod]             |
|       |                   |                   |                    |
|       v                   v                   v                    |
|  +----------------------------------------------------------+     |
|  |              ztunnel (DaemonSet, 각 노드)                  |     |
|  |  - mTLS 터널링 (HBONE)                                    |     |
|  |  - L4 인증 / 인가                                         |     |
|  |  - L4 텔레메트리                                          |     |
|  |  - TCP 연결 관리                                          |     |
|  +----------------------------------------------------------+     |
|       |                                                            |
|       | HBONE (HTTP CONNECT 기반 터널링)                           |
|       v                                                            |
|  +----------------------------------------------------------+     |
|  |         Waypoint Proxy (선택적, 네임스페이스/SA별)           |     |
|  |  - HTTP 라우팅                                            |     |
|  |  - L7 인증 / 인가 정책                                    |     |
|  |  - L7 텔레메트리                                          |     |
|  |  - 트래픽 미러링, 카나리 배포                               |     |
|  |  - 헤더 기반 라우팅                                        |     |
|  +----------------------------------------------------------+     |
|       |                                                            |
|       | HBONE                                                      |
|       v                                                            |
|  +----------------------------------------------------------+     |
|  |              ztunnel (대상 노드)                            |     |
|  +----------------------------------------------------------+     |
|       |                                                            |
|       v                                                            |
|  [Destination Pod]                                                 |
|                                                                    |
+------------------------------------------------------------------+

L4 전용 흐름 (Waypoint 없음):
  Pod A ---> ztunnel(노드1) ===HBONE===> ztunnel(노드2) ---> Pod B

L7 처리가 필요한 흐름:
  Pod A ---> ztunnel(노드1) ===HBONE===> Waypoint Proxy ===HBONE===> ztunnel(노드2) ---> Pod B

# ztunnel이 제공하는 기능 범위
ztunnel_capabilities:
  security:
    - mTLS 자동 암호화/복호화
    - SPIFFE 기반 워크로드 ID 발급
    - L4 AuthorizationPolicy 적용
  networking:
    - TCP 연결 프록시
    - HBONE 터널링
    - 로드밸런싱 (L4)
  observability:
    - TCP 연결 메트릭 (바이트, 연결 수, 지속시간)
    - L4 접근 로그
    - Prometheus 메트릭 노출
  not_supported:
    - HTTP 라우팅
    - 헤더 기반 정책
    - gRPC 프로토콜 파싱
    - 트래픽 미러링/분할

# ztunnel DaemonSet 상태 확인
kubectl get daemonset -n istio-system ztunnel

# ztunnel Pod 로그 확인
kubectl logs -n istio-system -l app=ztunnel --tail=50

# ztunnel 프록시 상태 확인 (특정 노드)
kubectl exec -n istio-system $(kubectl get pod -n istio-system -l app=ztunnel --field-selector spec.nodeName=worker-1 -o jsonpath='{.items[0].metadata.name}') -- curl -s localhost:15000/config_dump

# ztunnel이 관리하는 워크로드 목록 확인
kubectl exec -n istio-system $(kubectl get pod -n istio-system -l app=ztunnel -o jsonpath='{.items[0].metadata.name}') -- curl -s localhost:15020/debug/workloadz

# 네임스페이스에 waypoint proxy 배포
istioctl waypoint apply -n my-namespace

# 특정 서비스 어카운트용 waypoint 배포
istioctl waypoint apply -n my-namespace --name sa-waypoint --for service

# waypoint proxy 상태 확인
kubectl get gateway -n my-namespace

# waypoint proxy Gateway 리소스 예시
apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
  name: my-namespace-waypoint
  namespace: my-namespace
  labels:
    istio.io/waypoint-for: service
spec:
  gatewayClassName: istio-waypoint
  listeners:
    - name: mesh
      port: 15008
      protocol: HBONE

# waypoint proxy에 대한 HPA 설정
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: my-namespace-waypoint
  namespace: my-namespace
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: my-namespace-waypoint
  minReplicas: 2
  maxReplicas: 10
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 70
    - type: Resource
      resource:
        name: memory
        target:
          type: Utilization
          averageUtilization: 80

# Kubernetes 클러스터 버전 확인 (1.27+ 권장)
kubectl version --short

# istioctl 설치 (최신 버전)
curl -L https://istio.io/downloadIstio | sh -
cd istio-*
export PATH=$PWD/bin:$PATH

# istioctl 버전 확인
istioctl version

# ambient 프로필로 Istio 설치
istioctl install --set profile=ambient --skip-confirmation

# 설치 확인
kubectl get pods -n istio-system

# 예상 출력:
# NAME                      READY   STATUS    RESTARTS   AGE
# istiod-xxxx               1/1     Running   0          2m
# ztunnel-xxxxx             1/1     Running   0          2m
# ztunnel-yyyyy             1/1     Running   0          2m
# ztunnel-zzzzz             1/1     Running   0          2m
# istio-cni-node-xxxxx      1/1     Running   0          2m
# istio-cni-node-yyyyy      1/1     Running   0          2m
# istio-cni-node-zzzzz      1/1     Running   0          2m

# 네임스페이스를 ambient 메시에 추가 (Pod 재시작 불필요!)
kubectl label namespace my-app istio.io/dataplane-mode=ambient

# 레이블 확인
kubectl get namespace my-app --show-labels

# 특정 Pod만 메시에서 제외
kubectl label pod my-pod -n my-app istio.io/dataplane-mode=none

# 메시에서 네임스페이스 제거 (Pod 재시작 불필요!)
kubectl label namespace my-app istio.io/dataplane-mode-

# Istio Helm 저장소 추가
helm repo add istio https://istio-release.storage.googleapis.com/charts
helm repo update

# istio-base (CRDs) 설치
helm install istio-base istio/base -n istio-system --create-namespace

# istiod 설치 (ambient 프로필)
helm install istiod istio/istiod -n istio-system \
  --set profile=ambient \
  --set pilot.resources.requests.memory=256Mi \
  --set pilot.resources.requests.cpu=200m

# ztunnel 설치
helm install ztunnel istio/ztunnel -n istio-system \
  --set resources.requests.memory=64Mi \
  --set resources.requests.cpu=50m

# istio-cni 설치
helm install istio-cni istio/cni -n istio-system \
  --set ambient.enabled=true

# L4 AuthorizationPolicy: 특정 서비스만 접근 허용
apiVersion: security.istio.io/v1
kind: AuthorizationPolicy
metadata:
  name: allow-frontend-to-backend
  namespace: my-app
spec:
  targetRefs:
    - kind: Service
      group: ''
      name: backend
  action: ALLOW
  rules:
    - from:
        - source:
            principals:
              - 'cluster.local/ns/my-app/sa/frontend'
      to:
        - operation:
            ports: ['8080']
---
# L4 기본 거부 정책
apiVersion: security.istio.io/v1
kind: AuthorizationPolicy
metadata:
  name: deny-all
  namespace: my-app
spec:
  targetRefs:
    - kind: Service
      group: ''
      name: backend
  action: DENY
  rules: []

# 먼저 waypoint proxy 배포
# istioctl waypoint apply -n my-app

# L7 AuthorizationPolicy: HTTP 경로 기반 제어
apiVersion: security.istio.io/v1
kind: AuthorizationPolicy
metadata:
  name: api-access-control
  namespace: my-app
spec:
  targetRefs:
    - kind: Service
      group: ''
      name: api-server
  action: ALLOW
  rules:
    - from:
        - source:
            principals:
              - 'cluster.local/ns/my-app/sa/web-frontend'
      to:
        - operation:
            methods: ['GET']
            paths: ['/api/v1/products/*']
    - from:
        - source:
            principals:
              - 'cluster.local/ns/my-app/sa/admin-service'
      to:
        - operation:
            methods: ['GET', 'POST', 'PUT', 'DELETE']
            paths: ['/api/v1/*']

# 카나리 배포를 위한 트래픽 분할 (Waypoint 필요)
apiVersion: networking.istio.io/v1
kind: VirtualService
metadata:
  name: reviews-canary
  namespace: my-app
spec:
  hosts:
    - reviews
  http:
    - match:
        - headers:
            x-canary:
              exact: 'true'
      route:
        - destination:
            host: reviews
            subset: v2
          weight: 100
    - route:
        - destination:
            host: reviews
            subset: v1
          weight: 90
        - destination:
            host: reviews
            subset: v2
          weight: 10
---
apiVersion: networking.istio.io/v1
kind: DestinationRule
metadata:
  name: reviews-dr
  namespace: my-app
spec:
  host: reviews
  subsets:
    - name: v1
      labels:
        version: v1
    - name: v2
      labels:
        version: v2

# Strict mTLS 적용 (ambient 모드에서는 기본적으로 활성화)
apiVersion: security.istio.io/v1
kind: PeerAuthentication
metadata:
  name: strict-mtls
  namespace: my-app
spec:
  mtls:
    mode: STRICT

# Prometheus ServiceMonitor for ztunnel
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: ztunnel-monitor
  namespace: istio-system
spec:
  selector:
    matchLabels:
      app: ztunnel
  endpoints:
    - port: http-monitoring
      path: /metrics
      interval: 15s
---
# Prometheus ServiceMonitor for waypoint proxies
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: waypoint-monitor
  namespace: my-app
spec:
  selector:
    matchLabels:
      gateway.istio.io/managed: istio.io-mesh-controller
  endpoints:
    - port: http-envoy-prom
      path: /stats/prometheus
      interval: 15s

# ztunnel 메트릭 확인
kubectl exec -n istio-system $(kubectl get pod -n istio-system -l app=ztunnel -o jsonpath='{.items[0].metadata.name}') -- curl -s localhost:15020/metrics | grep istio_tcp

# 주요 ztunnel 메트릭:
# istio_tcp_connections_opened_total     - 열린 TCP 연결 수
# istio_tcp_connections_closed_total     - 닫힌 TCP 연결 수
# istio_tcp_sent_bytes_total             - 전송 바이트
# istio_tcp_received_bytes_total         - 수신 바이트
# istio_tcp_connection_duration_seconds  - 연결 지속 시간

# waypoint proxy 메트릭 확인 (L7 메트릭 포함)
kubectl exec -n my-app $(kubectl get pod -n my-app -l gateway.istio.io/managed=istio.io-mesh-controller -o jsonpath='{.items[0].metadata.name}') -- curl -s localhost:15090/stats/prometheus | grep istio_request

# 주요 waypoint 메트릭:
# istio_requests_total                   - 총 요청 수 (L7)
# istio_request_duration_milliseconds    - 요청 지연 (L7)
# istio_request_bytes                    - 요청 크기
# istio_response_bytes                   - 응답 크기

# Kiali 설치 (Ambient 지원 포함)
kubectl apply -f https://raw.githubusercontent.com/istio/istio/release-1.24/samples/addons/kiali.yaml

# Kiali 대시보드 접속
istioctl dashboard kiali

# Grafana + Prometheus 스택 설치
kubectl apply -f https://raw.githubusercontent.com/istio/istio/release-1.24/samples/addons/prometheus.yaml
kubectl apply -f https://raw.githubusercontent.com/istio/istio/release-1.24/samples/addons/grafana.yaml

# Grafana 대시보드 접속
istioctl dashboard grafana

# 현재 Istio 버전이 ambient을 지원하는지 확인 (1.22+)
istioctl version

# ambient 프로필 컴포넌트 설치 (기존 istiod 유지)
istioctl install --set profile=ambient --skip-confirmation

# ztunnel과 istio-cni가 정상 동작하는지 확인
kubectl get daemonset -n istio-system ztunnel
kubectl get daemonset -n istio-system istio-cni-node

# 테스트용 네임스페이스에서 먼저 검증
# 1. 사이드카 레이블 제거
kubectl label namespace test-app istio-injection-

# 2. ambient 레이블 추가
kubectl label namespace test-app istio.io/dataplane-mode=ambient

# 3. 기존 사이드카를 제거하기 위해 Pod 재시작
kubectl rollout restart deployment -n test-app

# 4. 사이드카가 제거되고 ztunnel을 통해 통신하는지 확인
kubectl get pods -n test-app
# 모든 Pod이 1/1 (사이드카 없음)으로 표시되어야 함

# 5. mTLS 통신 확인
istioctl proxy-status

# 기존에 L7 정책을 사용하던 네임스페이스에 waypoint 배포
istioctl waypoint apply -n test-app

# VirtualService, AuthorizationPolicy 등 기존 L7 정책이
# waypoint를 통해 정상 동작하는지 확인
kubectl get gateway -n test-app

# 프로덕션 네임스페이스 전환 (동일 절차)
kubectl label namespace production istio-injection-
kubectl label namespace production istio.io/dataplane-mode=ambient
kubectl rollout restart deployment -n production

# waypoint 필요 시 배포
istioctl waypoint apply -n production

# 증상: Pod 간 연결이 거부되거나 타임아웃
# 원인: ztunnel이 정상 동작하지 않거나 인증서 문제

# 진단 1: ztunnel 상태 확인
kubectl get pods -n istio-system -l app=ztunnel
kubectl logs -n istio-system -l app=ztunnel --tail=100 | grep -i error

# 진단 2: 인증서 상태 확인
istioctl proxy-status

# 진단 3: 워크로드 ID 확인
kubectl exec -n istio-system $(kubectl get pod -n istio-system -l app=ztunnel -o jsonpath='{.items[0].metadata.name}') -- curl -s localhost:15020/debug/workloadz

# 해결: ztunnel 재시작
kubectl rollout restart daemonset ztunnel -n istio-system

# 증상: AuthorizationPolicy의 HTTP 경로/메서드 기반 규칙이 무시됨
# 원인: waypoint proxy가 배포되지 않았거나 올바르게 연결되지 않음

# 진단 1: waypoint proxy 존재 여부 확인
kubectl get gateway -n my-app
istioctl waypoint list -n my-app

# 진단 2: waypoint proxy Pod 상태 확인
kubectl get pods -n my-app -l gateway.istio.io/managed=istio.io-mesh-controller

# 진단 3: waypoint proxy 로그 확인
kubectl logs -n my-app -l gateway.istio.io/managed=istio.io-mesh-controller --tail=100

# 해결: waypoint 재배포
istioctl waypoint delete -n my-app
istioctl waypoint apply -n my-app

# 증상: ztunnel이 트래픽을 가로채지 못함, Pod이 메시 외부처럼 동작
# 원인: istio-cni와 기존 CNI 플러그인 간 충돌

# 진단: istio-cni 로그 확인
kubectl logs -n istio-system -l k8s-app=istio-cni-node --tail=100

# 해결 (Cilium 환경):
# Cilium의 exclusive CNI 설정 비활성화
helm upgrade cilium cilium/cilium -n kube-system \
  --set cni.exclusive=false

# istio-cni 재시작
kubectl rollout restart daemonset istio-cni-node -n istio-system

# 증상: ambient 메시 내 Pod이 메시 외부 서비스에 접근 불가
# 원인: ztunnel이 외부 트래픽도 가로채서 HBONE 터널링을 시도

# 진단: ztunnel 로그에서 외부 목적지 관련 오류 확인
kubectl logs -n istio-system -l app=ztunnel --tail=200 | grep "external"

# 해결: ServiceEntry로 외부 서비스를 명시적으로 등록
cat <<EOF | kubectl apply -f -
apiVersion: networking.istio.io/v1
kind: ServiceEntry
metadata:
  name: external-api
  namespace: my-app
spec:
  hosts:
    - api.external-service.com
  location: MESH_EXTERNAL
  ports:
    - number: 443
      name: https
      protocol: TLS
  resolution: DNS
EOF

# 증상: ztunnel Pod의 메모리 사용량이 지속적으로 증가
# 원인: 대량의 동시 연결 또는 메모리 누수

# 진단: 현재 메모리 사용량 확인
kubectl top pods -n istio-system -l app=ztunnel

# 진단: 연결 수 확인
kubectl exec -n istio-system $(kubectl get pod -n istio-system -l app=ztunnel -o jsonpath='{.items[0].metadata.name}') -- curl -s localhost:15020/metrics | grep tcp_connections

# 해결: ztunnel 리소스 제한 조정
helm upgrade ztunnel istio/ztunnel -n istio-system \
  --set resources.limits.memory=256Mi \
  --set resources.requests.memory=128Mi

# 1. 영향받는 노드 확인
kubectl get pods -n istio-system -l app=ztunnel -o wide

# 2. 업데이트 일시 중지 (가능한 경우)
kubectl rollout pause daemonset ztunnel -n istio-system

# 3. 영향받는 노드에서 ztunnel 수동 복구
kubectl delete pod -n istio-system $(kubectl get pod -n istio-system -l app=ztunnel --field-selector spec.nodeName=affected-node -o jsonpath='{.items[0].metadata.name}')

# 4. ztunnel 복구 확인
kubectl get pods -n istio-system -l app=ztunnel -o wide

# 예방 조치: maxUnavailable을 1로 설정
kubectl patch daemonset ztunnel -n istio-system -p '{"spec":{"updateStrategy":{"rollingUpdate":{"maxUnavailable":1}}}}'

# 1. waypoint proxy 상태 확인
kubectl get pods -n affected-namespace -l gateway.istio.io/managed=istio.io-mesh-controller
kubectl top pods -n affected-namespace -l gateway.istio.io/managed=istio.io-mesh-controller

# 2. 즉각적 스케일 아웃
kubectl scale deployment -n affected-namespace $(kubectl get deployment -n affected-namespace -l gateway.istio.io/managed=istio.io-mesh-controller -o jsonpath='{.items[0].metadata.name}') --replicas=5

# 3. HPA 설정으로 자동 스케일링 적용 (위의 HPA 예시 참조)

# 4. 필요시 일시적으로 L7 정책을 L4로 완화
# waypoint를 제거하면 L7 정책이 비활성화되고 L4(ztunnel)로 폴백
# istioctl waypoint delete -n affected-namespace
# (주의: L7 정책이 모두 비활성화됨)

# 1. 사이드카의 HBONE 지원 여부 확인
kubectl exec -n sidecar-namespace deployment/my-app -c istio-proxy -- pilot-agent request GET /debug/config_dump | grep ENABLE_HBONE

# 2. HBONE이 비활성화된 경우, 사이드카 재시작으로 최신 설정 반영
kubectl rollout restart deployment -n sidecar-namespace

# 3. 여전히 문제가 있으면 해당 네임스페이스도 ambient 모드로 전환
kubectl label namespace sidecar-namespace istio-injection-
kubectl label namespace sidecar-namespace istio.io/dataplane-mode=ambient
kubectl rollout restart deployment -n sidecar-namespace

# 1. istiod 상태 확인
kubectl get pods -n istio-system -l app=istiod
kubectl logs -n istio-system -l app=istiod --tail=200

# 2. istiod 재시작
kubectl rollout restart deployment istiod -n istio-system

# 3. 인증서 갱신 상태 확인
istioctl proxy-status

# 참고: istiod가 다운되더라도 기존 mTLS 연결은 인증서 만료 전까지 유지됨
# 기본 인증서 TTL은 24시간이므로, istiod를 24시간 내에 복구해야 함

# 예방 조치: istiod HA 구성
helm upgrade istiod istio/istiod -n istio-system \
  --set pilot.replicaCount=3 \
  --set pilot.resources.requests.memory=512Mi \
  --set pilot.resources.requests.cpu=500m