필사 모드: 閉域網 Kubernetes の Day 2 運用 — 証明書の期限切れで死ぬクラスターを防ぐ方法

# コントロールプレーンノードで
sudo kubeadm certs check-expiration

# kubelet 証明書は別途確認します
sudo ls -la /var/lib/kubelet/pki/
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -noout -enddate

sudo k3s certificate check --output table

# 期限警告イベントの照会
sudo k3s kubectl get events -A --field-selector reason=CertificateExpirationWarning

#!/usr/bin/env bash
# cert-watch.sh — 毎日実行。期限まで 60 日以内なら異常終了で知らせます。
set -uo pipefail
THRESHOLD_DAYS=60
NOW=$(date +%s)
WARN=0

check_pem() {
  local f="$1"
  [ -f "${f}" ] || return 0
  local end epoch left
  end=$(openssl x509 -in "${f}" -noout -enddate 2>/dev/null | cut -d= -f2) || return 0
  epoch=$(date -d "${end}" +%s 2>/dev/null) || return 0
  left=$(( (epoch - NOW) / 86400 ))
  if [ "${left}" -lt "${THRESHOLD_DAYS}" ]; then
    echo "WARN  残り ${left} 日  ${f}  (${end})"
    WARN=$((WARN+1))
  else
    echo "ok    残り ${left} 日  ${f}"
  fi
}

# kubeadm 系
for f in /etc/kubernetes/pki/*.crt /etc/kubernetes/pki/etcd/*.crt; do
  check_pem "${f}"
done
# kubelet
check_pem /var/lib/kubelet/pki/kubelet-client-current.pem
# k3s 系
for f in /var/lib/rancher/k3s/server/tls/*.crt; do
  check_pem "${f}"
done

echo "警告 ${WARN} 件"
exit "${WARN}"

# 全体更新
sudo kubeadm certs renew all

# 個別更新も可能です
sudo kubeadm certs renew apiserver
sudo kubeadm certs renew admin.conf

# スタティックポッドを再起動させる最も単純な方法 — マニフェストを一時的に移してから戻します
sudo mkdir -p /tmp/kube-manifests
sudo mv /etc/kubernetes/manifests/*.yaml /tmp/kube-manifests/
sleep 20
sudo mv /tmp/kube-manifests/*.yaml /etc/kubernetes/manifests/

# 新しい admin.conf を反映
sudo cp /etc/kubernetes/admin.conf "${HOME}/.kube/config"
sudo chown "$(id -u):$(id -g)" "${HOME}/.kube/config"

# 確認
sudo kubeadm certs check-expiration
kubectl get nodes

apiVersion: kubeadm.k8s.io/v1beta4
kind: ClusterConfiguration
certificateValidityPeriod: 8760h # デフォルト 365 日
caCertificateValidityPeriod: 87600h # デフォルト 3650 日

# 自動更新を誘発する最も単純な方法 — 再起動
sudo systemctl restart k3s

# 明示的なローテーション
sudo systemctl stop k3s
sudo k3s certificate rotate
sudo systemctl start k3s

# 特定のサービスだけローテーション
sudo k3s certificate rotate --service api-server,etcd,kubelet

# 自己署名 CA のローテーション — クロス署名で信頼チェーンを維持します
# （スクリプトは持ち込み時に一緒に入れておく必要があります。閉域網では curl で取得できません。）
sudo bash /opt/staging/rotate-default-ca-certs.sh
sudo k3s certificate rotate-ca --path=/var/lib/rancher/k3s/server/rotate-ca

# 社内 CA に差し替える場合 — 別ディレクトリに用意してから適用
sudo k3s certificate rotate-ca --path=/opt/k3s/server
# 適用後、すべてのノードで k3s を再起動します。
# ルート CA そのものを変える場合は --force が必要で、参加済みノードのトークン再設定が先行しなければなりません。

# 現在の同期状態を確認 — ここが閉域網点検の 1 番目の項目です
timedatectl status
chronyc sources -v 2>/dev/null || ntpq -p 2>/dev/null
chronyc tracking 2>/dev/null

# 社内 NTP サーバーに固定
sudo tee /etc/chrony.d/internal.conf > /dev/null <<'EOF'
server 10.10.10.11 iburst prefer
server 10.10.10.12 iburst
makestep 1.0 3
EOF

# パブリックプールを指すデフォルト設定を削除する必要があります（ディストリビューションによってパスが違います）
sudo grep -rn "pool\|ntp.org" /etc/chrony.conf /etc/chrony.d/ 2>/dev/null

sudo systemctl restart chronyd
sleep 5
chronyc sources -v

# クラスター全ノードの時刻偏差を一度に見る
for n in $(kubectl get nodes -o jsonpath='{.items[*].metadata.name}'); do
  printf "%-20s " "${n}"
  ssh "${n}" "chronyc tracking 2>/dev/null | awk '/System time/{print \$4, \$5, \$6}'" || echo "unreachable"
done

# CoreDNS が何を見ているか確認
kubectl -n kube-system get configmap coredns -o yaml

# ノードのリゾルバ
cat /etc/resolv.conf

# 社内 DNS の応答確認
dig @10.10.10.53 registry.internal.example +short

# /etc/rancher/k3s/config.yaml — 閉域網の推奨設定
etcd-snapshot-schedule-cron: '0 */6 * * *'
etcd-snapshot-retention: 12
etcd-snapshot-compress: true
etcd-snapshot-dir: /var/backups/k3s-snapshots

# オンデマンドスナップショット — アップグレードや危険な変更の直前には必ず
sudo k3s etcd-snapshot save

# 一覧と整理
sudo k3s etcd-snapshot ls
sudo k3s etcd-snapshot prune --snapshot-retention 12
sudo k3s etcd-snapshot delete on-demand-node1-1753900000

# スナップショットとトークンを一組で保管します
sudo install -m 0600 /var/lib/rancher/k3s/server/token \
  /var/backups/k3s-snapshots/token-$(date +%Y%m%d)

# バックアップ一式をクラスター外のストレージへ（閉域網内部の別 NAS など）
sudo rsync -a --delete /var/backups/k3s-snapshots/ backup-nas:/k3s/prod/

# 単一サーバー
sudo systemctl stop k3s
sudo k3s server \
  --cluster-reset \
  --cluster-reset-restore-path=/var/backups/k3s-snapshots/etcd-snapshot-node1-1753900000
# 上のコマンドが完了メッセージを出したら Ctrl-C で抜けたあと
sudo systemctl start k3s

# 複数サーバー — 順序を守る必要があります
# 1) すべてのサーバーで k3s を停止
sudo systemctl stop k3s

# 2) 最初のサーバーでのみ cluster-reset 復旧を実施（上のコマンド）

# 3) 最初のサーバーを起動
sudo systemctl start k3s

# 4) 残りのサーバーでデータディレクトリを削除 — この段階を飛ばすと合流できません
sudo rm -rf /var/lib/rancher/k3s/server/db/

# 5) 残りのサーバーを起動
sudo systemctl start k3s

# スナップショット
sudo ETCDCTL_API=3 etcdctl snapshot save /var/backups/etcd-$(date +%Y%m%d%H%M).db \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key

# スナップショットの完全性確認 — 保存するだけで確認しないチームが本当に多いです
sudo ETCDCTL_API=3 etcdctl snapshot status \
  /var/backups/etcd-*.db --write-out=table

# 持ち込み計画の算出 — 現在バージョンと目標バージョンのあいだの段階を確認
kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.nodeInfo.kubeletVersion}{"\n"}{end}'
kubectl version -o json | jq -r '.serverVersion.gitVersion'

/opt/staging/upgrade-2026Q3/
├── VERSION                       # 目標バージョン 1 行
├── MANIFEST.sha256
├── step1-v1.35.7/
│   ├── k3s
│   └── k3s-airgap-images-amd64.tar.zst
├── step2-v1.36.2/
│   ├── k3s
│   └── k3s-airgap-images-amd64.tar.zst
├── addons/                       # この回に一緒に上げる付加コンポーネントのイメージ
└── ROLLBACK.md                   # 各段階のロールバック判断基準とコマンド

#!/usr/bin/env bash
# pre-upgrade.sh
set -uo pipefail
ERR=0

echo "[1] スナップショット"
sudo k3s etcd-snapshot save || ERR=$((ERR+1))

echo "[2] トークンのバックアップ"
sudo cp /var/lib/rancher/k3s/server/token "/var/backups/token-$(date +%Y%m%d%H%M)" || ERR=$((ERR+1))

echo "[3] バンドルの完全性"
(cd /opt/staging/upgrade-2026Q3 && sha256sum -c MANIFEST.sha256) || ERR=$((ERR+1))

echo "[4] ノード状態"
kubectl get nodes --no-headers | grep -v " Ready " && ERR=$((ERR+1))

echo "[5] PodDisruptionBudget"
kubectl get pdb -A

echo "[6] 証明書の残り期間"
sudo k3s certificate check --output table

echo "エラー ${ERR} 件"
exit "${ERR}"

sudo systemctl stop k3s
sudo rm -f /var/lib/rancher/k3s/agent/images/k3s-airgap-images-amd64.tar.zst
sudo rm -f /var/lib/rancher/k3s/agent/images/.cache.json
sudo cp /opt/staging/upgrade-2026Q3/step2-v1.36.2/k3s-airgap-images-amd64.tar.zst \
  /var/lib/rancher/k3s/agent/images/
sudo install -m 0755 /opt/staging/upgrade-2026Q3/step2-v1.36.2/k3s /usr/local/bin/k3s
sudo systemctl start k3s
sudo k3s kubectl get nodes -o wide

# DMZ 収集段階 — ダッシュボードの JSON をファイルとして確保
mkdir -p dashboards
curl -fL -o dashboards/node-exporter.json \
  "https://grafana.com/api/dashboards/1860/revisions/latest/download"
sha256sum dashboards/*.json >> MANIFEST.sha256

# 閉域網の内部 — プロビジョニングでデプロイ（ConfigMap マウント方式）
apiVersion: v1
kind: ConfigMap
metadata:
  name: grafana-dashboard-provider
  namespace: monitoring
data:
  provider.yaml: |
    apiVersion: 1
    providers:
      - name: airgap
        orgId: 1
        folder: 'Airgap'
        type: file
        disableDeletion: true
        options:
          path: /var/lib/grafana/dashboards

# Alertmanager — 社内 SMTP だけに出る構成
route:
  receiver: internal-mail
  group_wait: 30s
  repeat_interval: 4h
receivers:
  - name: internal-mail
    email_configs:
      - to: 'k8s-ops@internal.example'
        from: 'alertmanager@internal.example'
        smarthost: 'smtp.internal.example:25'
        require_tls: false

#!/usr/bin/env bash
# support-bundle.sh — 持ち出し審査を考慮した診断バンドル
set -uo pipefail
TS="$(date +%Y%m%d-%H%M)"
DIR="/var/tmp/support-${TS}"
mkdir -p "${DIR}"/{cluster,nodes,logs}
K="sudo k3s kubectl"

echo "== クラスターリソース（シークレット除く）"
${K} get nodes -o wide            > "${DIR}/cluster/nodes.txt" 2>&1
${K} get pods -A -o wide          > "${DIR}/cluster/pods.txt" 2>&1
${K} get events -A --sort-by=.lastTimestamp > "${DIR}/cluster/events.txt" 2>&1
${K} describe nodes               > "${DIR}/cluster/nodes-describe.txt" 2>&1
${K} api-resources                > "${DIR}/cluster/api-resources.txt" 2>&1
${K} version -o json              > "${DIR}/cluster/version.json" 2>&1
# シークレットは名前だけ — 値は絶対に入れません
${K} get secrets -A -o custom-columns=NS:.metadata.namespace,NAME:.metadata.name,TYPE:.type \
                                  > "${DIR}/cluster/secrets-list.txt" 2>&1

echo "== 失敗中のポッドのログだけ"
${K} get pods -A --field-selector=status.phase!=Running --no-headers 2>/dev/null \
| while read -r ns name _; do
    ${K} -n "${ns}" logs "${name}" --all-containers --tail=500 \
      > "${DIR}/logs/${ns}_${name}.log" 2>&1 || true
    ${K} -n "${ns}" describe pod "${name}" \
      > "${DIR}/logs/${ns}_${name}.describe" 2>&1 || true
  done

echo "== ノード情報"
uname -a                          > "${DIR}/nodes/uname.txt" 2>&1
free -h                           > "${DIR}/nodes/mem.txt" 2>&1
df -h                             > "${DIR}/nodes/disk.txt" 2>&1
timedatectl status                > "${DIR}/nodes/time.txt" 2>&1
chronyc tracking                  > "${DIR}/nodes/chrony.txt" 2>&1
sudo journalctl -u k3s -n 5000 --no-pager   > "${DIR}/logs/k3s.log" 2>&1
sudo tail -n 5000 /var/lib/rancher/k3s/agent/containerd/containerd.log \
                                  > "${DIR}/logs/containerd.log" 2>&1
sudo k3s certificate check --output table   > "${DIR}/cluster/certs.txt" 2>&1

echo "== 持ち出し前の点検 — トークンと鍵のパターン検出"
grep -rIlE 'BEGIN (RSA |EC )?PRIVATE KEY|K10[0-9a-f]{16,}|password:\s*\S+' "${DIR}" \
  > "${DIR}/REDACTION-REVIEW.txt" 2>/dev/null || true
echo "次のファイルを持ち出し前に必ず確認してください:"
cat "${DIR}/REDACTION-REVIEW.txt"

tar -czf "/var/tmp/support-${TS}.tar.gz" -C /var/tmp "support-${TS}"
sha256sum "/var/tmp/support-${TS}.tar.gz"
echo "生成完了: /var/tmp/support-${TS}.tar.gz"