k0s 폐쇄망 설치와 k0sctl 자동화 — 이미지 번들 제작부터 다중 노드 업그레이드까지

#!/usr/bin/env bash
# collect-k0s.sh — 인터넷이 되는 스테이징 장비
set -euo pipefail

K0S_VERSION="v1.36.3+k0s.0"
ARCH="amd64"
URLVER="${K0S_VERSION/+/%2B}"
BASE="https://github.com/k0sproject/k0s/releases/download/${URLVER}"
OUT="./k0s-airgap-${K0S_VERSION}"

mkdir -p "${OUT}" && cd "${OUT}"

curl -fL -o k0s "${BASE}/k0s-${K0S_VERSION}-${ARCH}"
chmod +x k0s

curl -fL -o "k0s-airgap-bundle-${K0S_VERSION}-linux-${ARCH}.tar" \
  "${BASE}/k0s-airgap-bundle-${K0S_VERSION}-linux-${ARCH}.tar"

# 반입 매니페스트는 직접 만듭니다 — 안쪽에서 매체 손상을 판별할 유일한 근거입니다
sha256sum k0s "k0s-airgap-bundle-${K0S_VERSION}-linux-${ARCH}.tar" > MANIFEST.sha256
echo "${K0S_VERSION}" > VERSION
ls -la

# 인터넷이 되는 장비에 k0s 바이너리를 두고 실행
./k0s airgap list-images --all > airgap-images.txt
wc -l airgap-images.txt
cat airgap-images.txt

# 방법 A — k0s 내장 도구 (도커도 실행 중인 k0s 도 필요 없음)
./k0s airgap bundle-artifacts -v -o image-bundle.tar < airgap-images.txt

# 방법 B — 이미 동작 중인 워커 노드의 containerd 저장소에서 내보내기
k0s ctr images export image-bundle.tar $(k0s airgap list-images | xargs)

# 방법 C — 도커가 있는 장비에서
k0s airgap list-images --all > airgap-images.txt
xargs -I{} docker pull {} < airgap-images.txt
docker image save -o image-bundle.tar $(xargs < airgap-images.txt)

# 1) k0s 시스템 이미지 목록을 뽑고
./k0s airgap list-images --all > airgap-images.txt

# 2) 사내 워크로드 이미지를 같은 목록에 덧붙입니다
cat >> airgap-images.txt <<'EOF'
registry.internal.example:5000/apps/api:1.4.2
registry.internal.example:5000/apps/worker:1.4.2
registry.internal.example:5000/infra/postgres:16.4
registry.internal.example:5000/infra/prometheus:v3.1.0
EOF

# 3) 중복 제거 후 한 번에 묶기
sort -u airgap-images.txt -o airgap-images.txt
./k0s airgap bundle-artifacts -v -o image-bundle.tar < airgap-images.txt

# 4) 매니페스트 갱신
sha256sum image-bundle.tar >> MANIFEST.sha256

#!/usr/bin/env bash
# install-k0s-single.sh — 폐쇄망 단일 노드
set -euo pipefail
STAGE=/opt/staging/k0s-airgap-v1.36.3+k0s.0

# 0) 무결성 검증부터
cd "${STAGE}" && sha256sum -c MANIFEST.sha256

# 1) 바이너리 배치
sudo install -m 0755 "${STAGE}/k0s" /usr/local/bin/k0s
k0s version

# 2) 이미지 번들 배치 — 기동 전에 넣어야 합니다
sudo mkdir -p /var/lib/k0s/images
sudo cp "${STAGE}"/k0s-airgap-bundle-*.tar /var/lib/k0s/images/image-bundle.tar

# 3) 단일 노드 설치
sudo k0s install controller --single
sudo k0s start

# 4) 상태 확인 (번들 임포트에 시간이 걸리므로 바로 Ready 가 아닐 수 있습니다)
sudo k0s status
sudo k0s kubectl get nodes -o wide
sudo k0s kubectl -n kube-system get pods

# 컨트롤러 노드
sudo install -m 0755 /opt/staging/k0s /usr/local/bin/k0s
sudo k0s install controller --enable-worker --no-taints
sudo k0s start
sudo k0s status

# 워커 조인용 토큰 발급 (컨트롤러에서)
sudo k0s token create --role=worker > /opt/staging/worker.token

# 워커 노드
sudo install -m 0755 /opt/staging/k0s /usr/local/bin/k0s
sudo mkdir -p /var/lib/k0s/images
sudo cp /opt/staging/image-bundle.tar /var/lib/k0s/images/image-bundle.tar
sudo k0s install worker --token-file /opt/staging/worker.token
sudo k0s start
sudo k0s status

# k0s.yaml
apiVersion: k0s.k0sproject.io/v1beta1
kind: ClusterConfig
spec:
  images:
    default_pull_policy: Never

# 폐쇄망 점프 호스트에 k0sctl 바이너리 배치 (이것도 반입 대상입니다)
sudo install -m 0755 /opt/staging/k0sctl /usr/local/bin/k0sctl
k0sctl version

# 초기 설정 파일 생성
k0sctl init > k0sctl.yaml

# k0sctl.yaml — 폐쇄망 3노드 구성
apiVersion: k0sctl.k0sproject.io/v1beta1
kind: Cluster
metadata:
  name: onprem-airgap
spec:
  k0s:
    version: v1.36.3+k0s.0
    config:
      apiVersion: k0s.k0sproject.io/v1beta1
      kind: ClusterConfig
      spec:
        images:
          default_pull_policy: Never
  hosts:
    - role: controller
      uploadBinary: true
      k0sBinaryPath: /opt/staging/k0s
      ssh:
        address: 10.10.20.11
        user: k0sadmin
        keyPath: /home/k0sadmin/.ssh/id_ed25519
    - role: worker
      uploadBinary: true
      k0sBinaryPath: /opt/staging/k0s
      ssh:
        address: 10.10.20.21
        user: k0sadmin
        keyPath: /home/k0sadmin/.ssh/id_ed25519
      files:
        - src: /opt/staging/image-bundle.tar
          dstDir: /var/lib/k0s/images
          perm: 0755
    - role: worker
      uploadBinary: true
      k0sBinaryPath: /opt/staging/k0s
      ssh:
        address: 10.10.20.22
        user: k0sadmin
        keyPath: /home/k0sadmin/.ssh/id_ed25519
      files:
        - src: /opt/staging/image-bundle.tar
          dstDir: /var/lib/k0s/images
          perm: 0755

# 구성 적용 — 바이너리 업로드, 번들 전송, 클러스터 구성까지 한 번에
k0sctl apply --config k0sctl.yaml

# kubeconfig 회수
k0sctl kubeconfig --config k0sctl.yaml > kubeconfig
kubectl --kubeconfig kubeconfig get nodes -o wide
kubectl --kubeconfig kubeconfig -n kube-system get pods

# 1) 새 버전 바이너리와 번들을 점프 호스트에 반입
sha256sum -c /opt/staging/k0s-v1.36.3/MANIFEST.sha256

# 2) k0sctl.yaml 의 버전 문자열과 파일 경로만 갱신
#    spec.k0s.version: v1.36.3+k0s.0
#    hosts[].files[].src: /opt/staging/k0s-v1.36.3/image-bundle.tar

# 3) 같은 명령으로 적용 — k0sctl 이 노드를 순서대로 처리합니다
k0sctl apply --config k0sctl.yaml

# 4) 검증
kubectl --kubeconfig kubeconfig get nodes -o wide
kubectl --kubeconfig kubeconfig get pods -A --field-selector=status.phase!=Running

# 노드 제거는 수동입니다
kubectl --kubeconfig kubeconfig drain worker-03 --ignore-daemonsets --delete-emptydir-data
kubectl --kubeconfig kubeconfig delete node worker-03

# 해당 노드에서 k0s 정리
sudo k0s stop
sudo k0s reset

sudo journalctl -u k0scontroller -f    # 컨트롤러
sudo journalctl -u k0sworker -f        # 워커
sudo k0s ctr images ls | wc -l         # 임포트된 이미지 수가 늘어나는지