폐쇄망 쿠버네티스 Day 2 운영 — 인증서 만료로 죽는 클러스터를 막는 법

# 컨트롤 플레인 노드에서
sudo kubeadm certs check-expiration

# kubelet 인증서는 따로 확인합니다
sudo ls -la /var/lib/kubelet/pki/
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -noout -enddate

sudo k3s certificate check --output table

# 만료 경고 이벤트 조회
sudo k3s kubectl get events -A --field-selector reason=CertificateExpirationWarning

#!/usr/bin/env bash
# cert-watch.sh — 매일 실행. 만료 60일 이내면 비정상 종료로 알립니다.
set -uo pipefail
THRESHOLD_DAYS=60
NOW=$(date +%s)
WARN=0

check_pem() {
  local f="$1"
  [ -f "${f}" ] || return 0
  local end epoch left
  end=$(openssl x509 -in "${f}" -noout -enddate 2>/dev/null | cut -d= -f2) || return 0
  epoch=$(date -d "${end}" +%s 2>/dev/null) || return 0
  left=$(( (epoch - NOW) / 86400 ))
  if [ "${left}" -lt "${THRESHOLD_DAYS}" ]; then
    echo "WARN  ${left}일 남음  ${f}  (${end})"
    WARN=$((WARN+1))
  else
    echo "ok    ${left}일 남음  ${f}"
  fi
}

# kubeadm 계열
for f in /etc/kubernetes/pki/*.crt /etc/kubernetes/pki/etcd/*.crt; do
  check_pem "${f}"
done
# kubelet
check_pem /var/lib/kubelet/pki/kubelet-client-current.pem
# k3s 계열
for f in /var/lib/rancher/k3s/server/tls/*.crt; do
  check_pem "${f}"
done

echo "경고 ${WARN}건"
exit "${WARN}"

# 전체 갱신
sudo kubeadm certs renew all

# 개별 갱신도 가능합니다
sudo kubeadm certs renew apiserver
sudo kubeadm certs renew admin.conf

# 스태틱 파드를 재기동시키는 가장 단순한 방법 — 매니페스트를 잠깐 옮겼다 되돌립니다
sudo mkdir -p /tmp/kube-manifests
sudo mv /etc/kubernetes/manifests/*.yaml /tmp/kube-manifests/
sleep 20
sudo mv /tmp/kube-manifests/*.yaml /etc/kubernetes/manifests/

# 새 admin.conf 를 반영
sudo cp /etc/kubernetes/admin.conf "${HOME}/.kube/config"
sudo chown "$(id -u):$(id -g)" "${HOME}/.kube/config"

# 확인
sudo kubeadm certs check-expiration
kubectl get nodes

apiVersion: kubeadm.k8s.io/v1beta4
kind: ClusterConfiguration
certificateValidityPeriod: 8760h # 기본 365일
caCertificateValidityPeriod: 87600h # 기본 3650일

# 자동 갱신을 유도하는 가장 단순한 방법 — 재기동
sudo systemctl restart k3s

# 명시적 회전
sudo systemctl stop k3s
sudo k3s certificate rotate
sudo systemctl start k3s

# 특정 서비스만 회전
sudo k3s certificate rotate --service api-server,etcd,kubelet

# 자체 서명 CA 회전 — 교차 서명으로 신뢰 체인을 유지합니다
# (스크립트는 반입 시 함께 들여와야 합니다. 폐쇄망에서 curl 로 못 받습니다.)
sudo bash /opt/staging/rotate-default-ca-certs.sh
sudo k3s certificate rotate-ca --path=/var/lib/rancher/k3s/server/rotate-ca

# 사내 CA 로 교체하는 경우 — 별도 디렉터리에 준비한 뒤 적용
sudo k3s certificate rotate-ca --path=/opt/k3s/server
# 적용 후 모든 노드에서 k3s 를 재기동합니다.
# 루트 CA 자체를 바꾸면 --force 가 필요하며, 조인된 노드의 토큰 재설정이 선행되어야 합니다.

# 현재 동기화 상태 확인 — 여기가 폐쇄망 점검의 1번 항목입니다
timedatectl status
chronyc sources -v 2>/dev/null || ntpq -p 2>/dev/null
chronyc tracking 2>/dev/null

# 사내 NTP 서버로 고정
sudo tee /etc/chrony.d/internal.conf > /dev/null <<'EOF'
server 10.10.10.11 iburst prefer
server 10.10.10.12 iburst
makestep 1.0 3
EOF

# 공인 풀을 가리키는 기본 설정을 제거해야 합니다 (배포판에 따라 경로가 다릅니다)
sudo grep -rn "pool\|ntp.org" /etc/chrony.conf /etc/chrony.d/ 2>/dev/null

sudo systemctl restart chronyd
sleep 5
chronyc sources -v

# 클러스터 전체 노드의 시각 편차를 한 번에 보기
for n in $(kubectl get nodes -o jsonpath='{.items[*].metadata.name}'); do
  printf "%-20s " "${n}"
  ssh "${n}" "chronyc tracking 2>/dev/null | awk '/System time/{print \$4, \$5, \$6}'" || echo "unreachable"
done

# CoreDNS 가 무엇을 바라보는지 확인
kubectl -n kube-system get configmap coredns -o yaml

# 노드 리졸버
cat /etc/resolv.conf

# 사내 DNS 응답 확인
dig @10.10.10.53 registry.internal.example +short

# /etc/rancher/k3s/config.yaml — 폐쇄망 권장 설정
etcd-snapshot-schedule-cron: '0 */6 * * *'
etcd-snapshot-retention: 12
etcd-snapshot-compress: true
etcd-snapshot-dir: /var/backups/k3s-snapshots

# 온디맨드 스냅샷 — 업그레이드나 위험한 변경 직전에 반드시
sudo k3s etcd-snapshot save

# 목록과 정리
sudo k3s etcd-snapshot ls
sudo k3s etcd-snapshot prune --snapshot-retention 12
sudo k3s etcd-snapshot delete on-demand-node1-1753900000

# 스냅샷과 토큰을 한 세트로 보관합니다
sudo install -m 0600 /var/lib/rancher/k3s/server/token \
  /var/backups/k3s-snapshots/token-$(date +%Y%m%d)

# 백업 세트를 클러스터 밖 스토리지로 (폐쇄망 내부의 별도 NAS 등)
sudo rsync -a --delete /var/backups/k3s-snapshots/ backup-nas:/k3s/prod/

# 단일 서버
sudo systemctl stop k3s
sudo k3s server \
  --cluster-reset \
  --cluster-reset-restore-path=/var/backups/k3s-snapshots/etcd-snapshot-node1-1753900000
# 위 명령이 완료 메시지를 내면 Ctrl-C 로 빠져나온 뒤
sudo systemctl start k3s

# 다중 서버 — 순서를 지켜야 합니다
# 1) 모든 서버에서 k3s 중지
sudo systemctl stop k3s

# 2) 첫 번째 서버에서만 cluster-reset 복구 수행 (위 명령)

# 3) 첫 번째 서버 기동
sudo systemctl start k3s

# 4) 나머지 서버에서 데이터 디렉터리 삭제 — 이 단계를 빠뜨리면 합류하지 못합니다
sudo rm -rf /var/lib/rancher/k3s/server/db/

# 5) 나머지 서버 기동
sudo systemctl start k3s

# 스냅샷
sudo ETCDCTL_API=3 etcdctl snapshot save /var/backups/etcd-$(date +%Y%m%d%H%M).db \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key

# 스냅샷 무결성 확인 — 저장만 하고 확인 안 하는 팀이 정말 많습니다
sudo ETCDCTL_API=3 etcdctl snapshot status \
  /var/backups/etcd-*.db --write-out=table

# 반입 계획 산출 — 현재 버전과 목표 버전 사이의 단계 확인
kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.nodeInfo.kubeletVersion}{"\n"}{end}'
kubectl version -o json | jq -r '.serverVersion.gitVersion'

/opt/staging/upgrade-2026Q3/
├── VERSION                       # 목표 버전 한 줄
├── MANIFEST.sha256
├── step1-v1.35.7/
│   ├── k3s
│   └── k3s-airgap-images-amd64.tar.zst
├── step2-v1.36.2/
│   ├── k3s
│   └── k3s-airgap-images-amd64.tar.zst
├── addons/                       # 이 회차에 함께 올릴 부가 컴포넌트 이미지
└── ROLLBACK.md                   # 각 단계별 롤백 판단 기준과 명령

#!/usr/bin/env bash
# pre-upgrade.sh
set -uo pipefail
ERR=0

echo "[1] 스냅샷"
sudo k3s etcd-snapshot save || ERR=$((ERR+1))

echo "[2] 토큰 백업"
sudo cp /var/lib/rancher/k3s/server/token "/var/backups/token-$(date +%Y%m%d%H%M)" || ERR=$((ERR+1))

echo "[3] 번들 무결성"
(cd /opt/staging/upgrade-2026Q3 && sha256sum -c MANIFEST.sha256) || ERR=$((ERR+1))

echo "[4] 노드 상태"
kubectl get nodes --no-headers | grep -v " Ready " && ERR=$((ERR+1))

echo "[5] PodDisruptionBudget"
kubectl get pdb -A

echo "[6] 인증서 잔여 기간"
sudo k3s certificate check --output table

echo "오류 ${ERR}건"
exit "${ERR}"

sudo systemctl stop k3s
sudo rm -f /var/lib/rancher/k3s/agent/images/k3s-airgap-images-amd64.tar.zst
sudo rm -f /var/lib/rancher/k3s/agent/images/.cache.json
sudo cp /opt/staging/upgrade-2026Q3/step2-v1.36.2/k3s-airgap-images-amd64.tar.zst \
  /var/lib/rancher/k3s/agent/images/
sudo install -m 0755 /opt/staging/upgrade-2026Q3/step2-v1.36.2/k3s /usr/local/bin/k3s
sudo systemctl start k3s
sudo k3s kubectl get nodes -o wide

# DMZ 수집 단계 — 대시보드 JSON 을 파일로 확보
mkdir -p dashboards
curl -fL -o dashboards/node-exporter.json \
  "https://grafana.com/api/dashboards/1860/revisions/latest/download"
sha256sum dashboards/*.json >> MANIFEST.sha256

# 폐쇄망 내부 — 프로비저닝으로 배포 (컨피그맵 마운트 방식)
apiVersion: v1
kind: ConfigMap
metadata:
  name: grafana-dashboard-provider
  namespace: monitoring
data:
  provider.yaml: |
    apiVersion: 1
    providers:
      - name: airgap
        orgId: 1
        folder: 'Airgap'
        type: file
        disableDeletion: true
        options:
          path: /var/lib/grafana/dashboards

# Alertmanager — 사내 SMTP 로만 나가는 구성
route:
  receiver: internal-mail
  group_wait: 30s
  repeat_interval: 4h
receivers:
  - name: internal-mail
    email_configs:
      - to: 'k8s-ops@internal.example'
        from: 'alertmanager@internal.example'
        smarthost: 'smtp.internal.example:25'
        require_tls: false

#!/usr/bin/env bash
# support-bundle.sh — 반출 심의를 고려한 진단 번들
set -uo pipefail
TS="$(date +%Y%m%d-%H%M)"
DIR="/var/tmp/support-${TS}"
mkdir -p "${DIR}"/{cluster,nodes,logs}
K="sudo k3s kubectl"

echo "== 클러스터 리소스 (시크릿 제외)"
${K} get nodes -o wide            > "${DIR}/cluster/nodes.txt" 2>&1
${K} get pods -A -o wide          > "${DIR}/cluster/pods.txt" 2>&1
${K} get events -A --sort-by=.lastTimestamp > "${DIR}/cluster/events.txt" 2>&1
${K} describe nodes               > "${DIR}/cluster/nodes-describe.txt" 2>&1
${K} api-resources                > "${DIR}/cluster/api-resources.txt" 2>&1
${K} version -o json              > "${DIR}/cluster/version.json" 2>&1
# 시크릿은 이름만 — 값은 절대 담지 않습니다
${K} get secrets -A -o custom-columns=NS:.metadata.namespace,NAME:.metadata.name,TYPE:.type \
                                  > "${DIR}/cluster/secrets-list.txt" 2>&1

echo "== 실패 중인 파드의 로그만"
${K} get pods -A --field-selector=status.phase!=Running --no-headers 2>/dev/null \
| while read -r ns name _; do
    ${K} -n "${ns}" logs "${name}" --all-containers --tail=500 \
      > "${DIR}/logs/${ns}_${name}.log" 2>&1 || true
    ${K} -n "${ns}" describe pod "${name}" \
      > "${DIR}/logs/${ns}_${name}.describe" 2>&1 || true
  done

echo "== 노드 정보"
uname -a                          > "${DIR}/nodes/uname.txt" 2>&1
free -h                           > "${DIR}/nodes/mem.txt" 2>&1
df -h                             > "${DIR}/nodes/disk.txt" 2>&1
timedatectl status                > "${DIR}/nodes/time.txt" 2>&1
chronyc tracking                  > "${DIR}/nodes/chrony.txt" 2>&1
sudo journalctl -u k3s -n 5000 --no-pager   > "${DIR}/logs/k3s.log" 2>&1
sudo tail -n 5000 /var/lib/rancher/k3s/agent/containerd/containerd.log \
                                  > "${DIR}/logs/containerd.log" 2>&1
sudo k3s certificate check --output table   > "${DIR}/cluster/certs.txt" 2>&1

echo "== 반출 전 점검 — 토큰과 키 패턴 탐지"
grep -rIlE 'BEGIN (RSA |EC )?PRIVATE KEY|K10[0-9a-f]{16,}|password:\s*\S+' "${DIR}" \
  > "${DIR}/REDACTION-REVIEW.txt" 2>/dev/null || true
echo "다음 파일을 반출 전 반드시 검토하십시오:"
cat "${DIR}/REDACTION-REVIEW.txt"

tar -czf "/var/tmp/support-${TS}.tar.gz" -C /var/tmp "support-${TS}"
sha256sum "/var/tmp/support-${TS}.tar.gz"
echo "생성 완료: /var/tmp/support-${TS}.tar.gz"