NVIDIA GPU Operator 완벽 가이드: 구성요소, 설치, KubeVirt GPU 패스스루까지 총정리

┌─────────────────────────────────────────────────────────────────────┐
│                    Kubernetes Control Plane                         │
│  ┌──────────────────────────────────────────────────────────────┐   │
│  │                   GPU Operator Controller                    │   │
│  │              (Deployment in gpu-operator namespace)          │   │
│  │                                                              │   │
│  │  ┌────────────────┐    ┌─────────────────────────────────┐   │   │
│  │  │  ClusterPolicy │───▶│  Reconciliation Loop             │   │   │
│  │  │     (CRD)      │    │  - Watch GPU Nodes              │   │   │
│  │  └────────────────┘    │  - Deploy DaemonSets            │   │   │
│  │                        │  - Manage Lifecycle             │   │   │
│  │                        └─────────────────────────────────┘   │   │
│  └──────────────────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────────────────┘
                                   │
                    ┌──────────────┼──────────────┐
                    ▼              ▼              ▼
     ┌──────────────────┐ ┌──────────────┐ ┌──────────────────┐
     │   GPU Worker #1  │ │ GPU Worker #2│ │   GPU Worker #3  │
     │                  │ │              │ │                  │
     │ ┌──────────────┐ │ │ ┌──────────┐ │ │ ┌──────────────┐ │
     │ │ NFD          │ │ │ │ NFD      │ │ │ │ NFD          │ │
     │ │ (Node Feature│ │ │ │          │ │ │ │              │ │
     │ │  Discovery)  │ │ │ └──────────┘ │ │ └──────────────┘ │
     │ └──────────────┘ │ │ ┌──────────┐ │ │ ┌──────────────┐ │
     │ ┌──────────────┐ │ │ │ GFD      │ │ │ │ GFD          │ │
     │ │ GFD          │ │ │ │          │ │ │ │              │ │
     │ │ (GPU Feature │ │ │ └──────────┘ │ │ └──────────────┘ │
     │ │  Discovery)  │ │ │ ┌──────────┐ │ │ ┌──────────────┐ │
     │ └──────────────┘ │ │ │ Driver   │ │ │ │ Driver       │ │
     │ ┌──────────────┐ │ │ │          │ │ │ │              │ │
     │ │ NVIDIA Driver│ │ │ └──────────┘ │ │ └──────────────┘ │
     │ │ (DaemonSet)  │ │ │ ┌──────────┐ │ │ ┌──────────────┐ │
     │ └──────────────┘ │ │ │ Toolkit  │ │ │ │ Toolkit      │ │
     │ ┌──────────────┐ │ │ │          │ │ │ │              │ │
     │ │ Container    │ │ │ └──────────┘ │ │ └──────────────┘ │
     │ │ Toolkit      │ │ │ ┌──────────┐ │ │ ┌──────────────┐ │
     │ └──────────────┘ │ │ │ Device   │ │ │ │ Device       │ │
     │ ┌──────────────┐ │ │ │ Plugin   │ │ │ │ Plugin       │ │
     │ │ Device Plugin│ │ │ └──────────┘ │ │ └──────────────┘ │
     │ └──────────────┘ │ │ ┌──────────┐ │ │ ┌──────────────┐ │
     │ ┌──────────────┐ │ │ │ DCGM     │ │ │ │ DCGM         │ │
     │ │ DCGM Exporter│ │ │ │ Exporter │ │ │ │ Exporter     │ │
     │ └──────────────┘ │ │ └──────────┘ │ │ └──────────────┘ │
     │ ┌──────────────┐ │ │ ┌──────────┐ │ │ ┌──────────────┐ │
     │ │ MIG Manager  │ │ │ │ MIG Mgr  │ │ │ │ MIG Manager  │ │
     │ └──────────────┘ │ │ └──────────┘ │ │ └──────────────┘ │
     │                  │ │              │ │                  │
     │  ╔════════════╗  │ │ ╔══════════╗ │ │  ╔════════════╗  │
     │  ║ NVIDIA GPU ║  │ │ ║ NVIDIA   ║ │ │  ║ NVIDIA GPU ║  │
     │  ║  (A100)    ║  │ │ ║ GPU(H100)║ │ │  ║  (T4)      ║  │
     │  ╚════════════╝  │ │ ╚══════════╝ │ │  ╚════════════╝  │
     └──────────────────┘ └──────────────┘ └──────────────────┘

apiVersion: nvidia.com/v1
kind: ClusterPolicy
metadata:
  name: cluster-policy
spec:
  driver:
    enabled: true
    repository: nvcr.io/nvidia
    image: driver
    version: '560.35.03'
    kernelModuleType: auto # auto | precompiled | runcompiled
    manager:
      env:
        - name: ENABLE_AUTO_DRAIN
          value: 'true'
    rdma:
      enabled: false
    licensingConfig:
      nlsEnabled: false
      configMapName: ''

┌─────────────────────────────────────────────────────┐
│                 Container Creation Flow              │
│                                                     │
│   kubelet                                           │
│     │                                               │
│     ▼                                               │
│   containerd/CRI-O                                  │
│     │                                               │
│     ▼                                               │
│   ┌─────────────────────────────────────┐           │
│   │   NVIDIA Container Runtime Hook     │           │
│   │   (nvidia-container-runtime-hook)   │           │
│   │                                     │           │
│   │   1. OCI spec 수정                  │           │
│   │   2. GPU 디바이스 마운트            │           │
│   │   3. NVIDIA 라이브러리 주입         │           │
│   │   4. 환경변수 설정                  │           │
│   └─────────────────────────────────────┘           │
│     │                                               │
│     ▼                                               │
│   ┌─────────────────────────────────────┐           │
│   │   libnvidia-container               │           │
│   │   - GPU 디바이스 노드 바인딩        │           │
│   │   - CUDA 라이브러리 마운트          │           │
│   │   - Driver 라이브러리 마운트        │           │
│   └─────────────────────────────────────┘           │
│     │                                               │
│     ▼                                               │
│   Container (with GPU access)                       │
│   /dev/nvidia0, /dev/nvidiactl, ...                 │
└─────────────────────────────────────────────────────┘

spec:
  toolkit:
    enabled: true
    version: v1.17.3-ubuntu22.04
  cdi:
    enabled: true # CDI 활성화 (기본값: true)
    default: true # CDI를 기본 디바이스 할당 방식으로 사용

apiVersion: v1
kind: Pod
metadata:
  name: cuda-test
spec:
  restartPolicy: OnFailure
  containers:
    - name: cuda-test
      image: nvcr.io/nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ['nvidia-smi']
      resources:
        limits:
          nvidia.com/gpu: 1 # GPU 1개 요청

┌──────────────┐     ┌───────────────┐     ┌──────────────┐
│  NVIDIA GPU  │────▶│ DCGM Daemon   │────▶│ DCGM Exporter│
│  (Hardware)  │     │ (libdcgm.so)  │     │ (:9400/metrics)
└──────────────┘     └───────────────┘     └──────┬───────┘
                                                   │
                                                   ▼
                                           ┌──────────────┐
                                           │  Prometheus   │
                                           │  (scrape)     │
                                           └──────┬───────┘
                                                   │
                                                   ▼
                                           ┌──────────────┐
                                           │   Grafana     │
                                           │ (Dashboard)   │
                                           └──────────────┘

spec:
  dcgm:
    enabled: true # standalone DCGM daemon
  dcgmExporter:
    enabled: true
    version: '3.3.9-3.6.1-ubuntu22.04'
    config:
      name: 'dcgm-metrics-config' # 커스텀 메트릭 설정
    serviceMonitor:
      enabled: true # Prometheus ServiceMonitor 자동 생성
      interval: '15s'
      honorLabels: false
      additionalLabels:
        monitoring: 'gpu'

apiVersion: v1
kind: Pod
metadata:
  name: a100-workload
spec:
  nodeSelector:
    nvidia.com/gpu.product: 'NVIDIA-A100-SXM4-40GB'
    nvidia.com/gpu.memory: '40960'
  containers:
    - name: training
      image: my-training:latest
      resources:
        limits:
          nvidia.com/gpu: 4

NFD (Node Feature Discovery)
 └──▶ GPU Feature Discovery (GFD)
       └──▶ NVIDIA Driver
             └──▶ NVIDIA Container Toolkit
                   └──▶ NVIDIA Device Plugin
                         └──▶ DCGM / DCGM Exporter
                               └──▶ MIG Manager (MIG 지원 GPU만)
                                     └──▶ Validator (검증)

# kubectl 및 helm 설치 확인
kubectl version --client
helm version

# Kubernetes 클러스터 접근 확인
kubectl get nodes

# Container Runtime 확인 (containerd 또는 CRI-O)
kubectl get nodes -o wide

# nouveau 모듈 로드 여부 확인
lsmod | grep nouveau

# nouveau 비활성화 (필요한 경우)
cat <<EOF | sudo tee /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0
EOF

# initramfs 재생성
sudo update-initramfs -u

# 재부팅
sudo reboot

# gpu-operator 네임스페이스에 PSA 라벨 설정
kubectl create namespace gpu-operator
kubectl label namespace gpu-operator \
  pod-security.kubernetes.io/enforce=privileged

# NVIDIA Helm repository 추가
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
helm repo update

# 사용 가능한 버전 확인
helm search repo nvidia/gpu-operator --versions

# 기본 설치 (최신 버전)
helm install gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator \
  --version=v25.10.1 \
  --wait

# GPU Operator Pod 상태 확인
kubectl get pods -n gpu-operator

# 기대 출력 (정상 상태):
# NAME                                                  READY   STATUS    RESTARTS   AGE
# gpu-operator-xxxxx                                    1/1     Running   0          5m
# gpu-feature-discovery-xxxxx                           1/1     Running   0          4m
# nvidia-container-toolkit-daemonset-xxxxx              1/1     Running   0          4m
# nvidia-cuda-validator-xxxxx                           0/1     Completed 0          3m
# nvidia-dcgm-exporter-xxxxx                            1/1     Running   0          4m
# nvidia-device-plugin-daemonset-xxxxx                  1/1     Running   0          4m
# nvidia-driver-daemonset-xxxxx                         1/1     Running   0          4m
# nvidia-operator-validator-xxxxx                       1/1     Running   0          3m
# node-feature-discovery-gc-xxxxx                       1/1     Running   0          5m
# node-feature-discovery-master-xxxxx                   1/1     Running   0          5m
# node-feature-discovery-worker-xxxxx                   1/1     Running   0          5m

apiVersion: nvidia.com/v1
kind: ClusterPolicy
metadata:
  name: cluster-policy
spec:
  # ─────────────────────────────────────────────────────
  # 1. NVIDIA Driver 설정
  # ─────────────────────────────────────────────────────
  driver:
    enabled: true
    repository: nvcr.io/nvidia
    image: driver
    version: '560.35.03'
    kernelModuleType: auto # auto | precompiled | runcompiled
    manager:
      env:
        - name: ENABLE_AUTO_DRAIN
          value: 'true'
        - name: DRAIN_USE_FORCE
          value: 'false'
        - name: DRAIN_POD_SELECTOR_LABEL
          value: ''
    rdma:
      enabled: false
      useHostMofed: false
    licensingConfig:
      nlsEnabled: false
      configMapName: ''

  # ─────────────────────────────────────────────────────
  # 2. NVIDIA Container Toolkit 설정
  # ─────────────────────────────────────────────────────
  toolkit:
    enabled: true
    version: v1.17.3-ubuntu22.04
    env:
      - name: CONTAINERD_CONFIG
        value: /etc/containerd/config.toml
      - name: CONTAINERD_SOCKET
        value: /run/containerd/containerd.sock

  # ─────────────────────────────────────────────────────
  # 3. CDI (Container Device Interface) 설정
  # ─────────────────────────────────────────────────────
  cdi:
    enabled: true
    default: true

  # ─────────────────────────────────────────────────────
  # 4. Device Plugin 설정
  # ─────────────────────────────────────────────────────
  devicePlugin:
    enabled: true
    version: v0.17.0
    config:
      name: '' # Time-Slicing/MIG ConfigMap 이름
      default: '' # 기본 설정 키
    env:
      - name: PASS_DEVICE_SPECS
        value: 'true'
      - name: DEVICE_LIST_STRATEGY
        value: 'envvar'

  # ─────────────────────────────────────────────────────
  # 5. DCGM & DCGM Exporter 설정
  # ─────────────────────────────────────────────────────
  dcgm:
    enabled: true
  dcgmExporter:
    enabled: true
    version: '3.3.9-3.6.1-ubuntu22.04'
    config:
      name: '' # 커스텀 메트릭 ConfigMap
    serviceMonitor:
      enabled: true
      interval: '15s'

  # ─────────────────────────────────────────────────────
  # 6. MIG Manager 설정
  # ─────────────────────────────────────────────────────
  migManager:
    enabled: true
    env:
      - name: WITH_REBOOT
        value: 'false'

  # ─────────────────────────────────────────────────────
  # 7. MIG 전략 설정
  # ─────────────────────────────────────────────────────
  mig:
    strategy: single # single | mixed

  # ─────────────────────────────────────────────────────
  # 8. Node Feature Discovery 설정
  # ─────────────────────────────────────────────────────
  nodeFeatureDiscovery:
    enabled: true

  # ─────────────────────────────────────────────────────
  # 9. GPU Feature Discovery 설정
  # ─────────────────────────────────────────────────────
  gfd:
    enabled: true
    version: v0.17.0

  # ─────────────────────────────────────────────────────
  # 10. Sandbox Workloads (KubeVirt 연동)
  # ─────────────────────────────────────────────────────
  sandboxWorkloads:
    enabled: false # KubeVirt 사용 시 true
    defaultWorkload: container # container | vm-passthrough | vm-vgpu

  # ─────────────────────────────────────────────────────
  # 11. Validator 설정
  # ─────────────────────────────────────────────────────
  validator:
    plugin:
      env:
        - name: WITH_WORKLOAD
          value: 'true'

# production-values.yaml

# 드라이버가 호스트에 이미 설치된 경우
driver:
  enabled: false

# Container Toolkit
toolkit:
  enabled: true

# Device Plugin + Time-Slicing 설정
devicePlugin:
  config:
    name: 'time-slicing-config'
    default: 'tesla-t4'

# DCGM Exporter + ServiceMonitor
dcgmExporter:
  serviceMonitor:
    enabled: true
    interval: '15s'
    additionalLabels:
      release: prometheus

# NFD가 이미 설치된 경우
nfd:
  enabled: false

# MIG 설정 (A100/H100 사용 시)
mig:
  strategy: mixed

# Node affinity - GPU 노드에만 배포
daemonsets:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule

helm install gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator \
  --version=v25.10.1 \
  -f production-values.yaml \
  --wait

# 1. 필요한 이미지 목록 확인
helm template gpu-operator nvidia/gpu-operator \
  --version=v25.10.1 | grep "image:" | sort -u

# 2. 이미지 미러링 (예: Harbor)
PRIVATE_REGISTRY="harbor.internal.company.com/nvidia"

# 주요 이미지 목록
IMAGES=(
  "nvcr.io/nvidia/driver:560.35.03-ubuntu22.04"
  "nvcr.io/nvidia/k8s-device-plugin:v0.17.0"
  "nvcr.io/nvidia/gpu-feature-discovery:v0.17.0"
  "nvcr.io/nvidia/cloud-native/dcgm:3.3.9-1-ubuntu22.04"
  "nvcr.io/nvidia/k8s/dcgm-exporter:3.3.9-3.6.1-ubuntu22.04"
  "nvcr.io/nvidia/cloud-native/k8s-mig-manager:v0.9.0"
  "nvcr.io/nvidia/k8s/container-toolkit:v1.17.3-ubuntu22.04"
  "nvcr.io/nvidia/cloud-native/gpu-operator-validator:v25.10.1"
  "registry.k8s.io/nfd/node-feature-discovery:v0.16.6"
)

for img in "${IMAGES[@]}"; do
  # 이미지 이름 추출
  name=$(echo $img | sed 's|.*/||')
  docker pull $img
  docker tag $img ${PRIVATE_REGISTRY}/${name}
  docker push ${PRIVATE_REGISTRY}/${name}
done

# 3. Private Registry를 사용하는 values.yaml 생성
cat <<EOF > airgap-values.yaml
driver:
  repository: ${PRIVATE_REGISTRY}
  image: driver
  version: "560.35.03-ubuntu22.04"

toolkit:
  repository: ${PRIVATE_REGISTRY}

devicePlugin:
  repository: ${PRIVATE_REGISTRY}

dcgm:
  repository: ${PRIVATE_REGISTRY}

dcgmExporter:
  repository: ${PRIVATE_REGISTRY}

gfd:
  repository: ${PRIVATE_REGISTRY}

migManager:
  repository: ${PRIVATE_REGISTRY}

validator:
  repository: ${PRIVATE_REGISTRY}

nfd:
  image:
    repository: ${PRIVATE_REGISTRY}/node-feature-discovery
EOF

# 4. 에어갭 환경 설치
helm install gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator \
  --version=v25.10.1 \
  -f airgap-values.yaml \
  --wait

# nvidia-smi 실행 확인
kubectl run nvidia-smi \
  --restart=Never \
  --image=nvcr.io/nvidia/cuda:12.6.0-base-ubuntu22.04 \
  --overrides='{"spec":{"restartPolicy":"Never","containers":[{"name":"nvidia-smi","image":"nvcr.io/nvidia/cuda:12.6.0-base-ubuntu22.04","command":["nvidia-smi"],"resources":{"limits":{"nvidia.com/gpu":"1"}}}]}}' \
  && kubectl logs nvidia-smi

# 기대 출력:
# +-----------------------------------------------------------------------------------------+
# | NVIDIA-SMI 560.35.03              Driver Version: 560.35.03      CUDA Version: 12.6     |
# |-------------------------------+----------------------+----------------------+
# | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
# | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
# |===============================+======================+======================|
# |   0  NVIDIA A100-SXM...  On   | 00000000:00:1E.0 Off |                    0 |
# | N/A   32C    P0    52W / 400W |      0MiB / 40960MiB |      0%      Default |
# +-------------------------------+----------------------+----------------------+

# 정리
kubectl delete pod nvidia-smi

# cuda-vectoradd-test.yaml
apiVersion: v1
kind: Pod
metadata:
  name: cuda-vectoradd
spec:
  restartPolicy: OnFailure
  containers:
    - name: cuda-vectoradd
      image: nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda12.5.0-ubuntu22.04
      resources:
        limits:
          nvidia.com/gpu: 1

kubectl apply -f cuda-vectoradd-test.yaml
kubectl logs cuda-vectoradd

# 기대 출력:
# [Vector addition of 50000 elements]
# Copy input data from the host memory to the CUDA device
# CUDA kernel launch with 196 blocks of 256 threads
# Copy output data from the CUDA device to the host memory
# Test PASSED
# Done

kubectl delete pod cuda-vectoradd

# 노드별 GPU 리소스 확인
kubectl describe node <gpu-node-name> | grep -A 10 "Capacity:"

# 기대 출력:
# Capacity:
#   nvidia.com/gpu:     4
# Allocatable:
#   nvidia.com/gpu:     4
# Allocated resources:
#   nvidia.com/gpu     0           4

# GPU 관련 라벨 확인
kubectl get node <gpu-node-name> -o json | jq '.metadata.labels | with_entries(select(.key | startswith("nvidia.com")))'

# time-slicing-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: time-slicing-config
  namespace: gpu-operator
data:
  any: |-
    version: v1
    flags:
      migStrategy: none
    sharing:
      timeSlicing:
        renameByDefault: false
        failRequestsGreaterThanOne: false
        resources:
        - name: nvidia.com/gpu
          replicas: 4

# ConfigMap 생성
kubectl apply -f time-slicing-config.yaml

# ClusterPolicy에 ConfigMap 연결
kubectl patch clusterpolicies.nvidia.com/cluster-policy \
  -n gpu-operator --type merge \
  -p '{"spec": {"devicePlugin": {"config": {"name": "time-slicing-config", "default": "any"}}}}'

# Device Plugin DaemonSet 재시작 (ConfigMap 변경 반영)
kubectl rollout restart daemonset/nvidia-device-plugin-daemonset -n gpu-operator

kubectl describe node <gpu-node> | grep nvidia.com/gpu

# Time-Slicing 적용 전 (GPU 4개 노드):
# nvidia.com/gpu: 4

# Time-Slicing 적용 후 (replicas: 4):
# nvidia.com/gpu: 16  (4 GPU x 4 replicas)

# 1. GPU Operator 설치 시 MIG 전략 설정
helm install gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator \
  --version=v25.10.1 \
  --set mig.strategy=single

# 2. MIG 프로파일 적용 (노드 라벨)
kubectl label nodes <gpu-node> nvidia.com/mig.config=all-1g.10gb --overwrite

# 3. MIG 설정 상태 확인
kubectl get node <gpu-node> -o jsonpath='{.metadata.labels.nvidia\.com/mig\.config\.state}'
# 출력: success

apiVersion: v1
kind: ConfigMap
metadata:
  name: custom-mig-config
  namespace: gpu-operator
data:
  config.yaml: |
    version: v1
    mig-configs:
      # MIG 비활성화
      all-disabled:
        - devices: all
          mig-enabled: false

      # A100: 7개의 1g.10gb 인스턴스
      all-1g.10gb:
        - devices: all
          mig-enabled: true
          mig-devices:
            "1g.10gb": 7

      # A100: 균형 잡힌 혼합 프로파일
      balanced:
        - devices: all
          mig-enabled: true
          mig-devices:
            "1g.10gb": 2
            "2g.20gb": 1
            "3g.20gb": 1

      # H100: 추론 최적화 프로파일
      h100-inference:
        - devices: all
          mig-enabled: true
          mig-devices:
            "1g.10gb": 4
            "3g.40gb": 1

apiVersion: v1
kind: Pod
metadata:
  name: mig-workload
spec:
  containers:
    - name: cuda-app
      image: nvcr.io/nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ['nvidia-smi']
      resources:
        limits:
          nvidia.com/mig-1g.10gb: 1 # MIG 1g.10gb 인스턴스 1개 요청

┌─────────────────────────────────────────────────────────────────┐
│                   GPU Operator Workload Types                   │
│                                                                 │
│  ┌──────────────┐  ┌──────────────────┐  ┌──────────────────┐  │
│  │  container   │  │  vm-passthrough  │  │    vm-vgpu       │  │
│  │  (기본값)    │  │                  │  │                  │  │
│  │              │  │                  │  │                  │  │
│  │ ▪ NVIDIA     │  │ ▪ VFIO Manager   │  │ ▪ vGPU Manager   │  │
│  │   Driver     │  │ ▪ Sandbox Device │  │ ▪ vGPU Device    │  │
│  │ ▪ Container  │  │   Plugin         │  │   Manager        │  │
│  │   Toolkit    │  │                  │  │ ▪ Sandbox Device │  │
│  │ ▪ Device     │  │                  │  │   Plugin         │  │
│  │   Plugin     │  │                  │  │                  │  │
│  │ ▪ DCGM       │  │                  │  │                  │  │
│  └──────────────┘  └──────────────────┘  └──────────────────┘  │
│                                                                 │
│  nvidia.com/gpu.workload.config=container | vm-passthrough |   │
│                                            vm-vgpu             │
└─────────────────────────────────────────────────────────────────┘

# Intel CPU
sudo sed -i 's/GRUB_CMDLINE_LINUX="/GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt /' /etc/default/grub

# AMD CPU
sudo sed -i 's/GRUB_CMDLINE_LINUX="/GRUB_CMDLINE_LINUX="amd_iommu=on iommu=pt /' /etc/default/grub

# GRUB 업데이트 및 재부팅
sudo update-grub
sudo reboot

# IOMMU 활성화 확인
dmesg | grep -i iommu
# 출력 예: DMAR: IOMMU enabled

# vfio-pci 모듈 로드
sudo modprobe vfio-pci

# 부팅 시 자동 로드 설정
echo "vfio-pci" | sudo tee /etc/modules-load.d/vfio-pci.conf

# 확인
lsmod | grep vfio

# GPU Operator 설치 시 sandboxWorkloads 활성화
helm install gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator \
  --version=v25.10.1 \
  --set sandboxWorkloads.enabled=true \
  --set sandboxWorkloads.defaultWorkload=vm-passthrough

# 또는 기존 설치에 패치
kubectl patch clusterpolicies.nvidia.com/cluster-policy \
  -n gpu-operator --type merge \
  -p '{"spec": {"sandboxWorkloads": {"enabled": true, "defaultWorkload": "vm-passthrough"}}}'

# GPU Passthrough용 워커 노드 라벨링
kubectl label node <gpu-node> \
  nvidia.com/gpu.workload.config=vm-passthrough --overwrite

# 라벨 확인
kubectl get node <gpu-node> -o jsonpath='{.metadata.labels.nvidia\.com/gpu\.workload\.config}'
# 출력: vm-passthrough

# GPU의 PCI Vendor/Device ID 확인
lspci -nn | grep -i nvidia
# 출력 예: 00:1e.0 3D controller [0302]: NVIDIA Corporation GA102GL [A10] [10DE:2236]
#          Vendor: 10DE, Device: 2236

# IOMMU Group 확인
find /sys/kernel/iommu_groups/ -type l | sort -t '/' -k5 -n | \
  while read line; do
    echo "IOMMU Group $(echo $line | awk -F'/' '{print $5}'):"
    lspci -nns $(basename $line)
  done | grep -A1 NVIDIA

# kubevirt-cr-gpu-passthrough.yaml
apiVersion: kubevirt.io/v1
kind: KubeVirt
metadata:
  name: kubevirt
  namespace: kubevirt
spec:
  configuration:
    developerConfiguration:
      featureGates:
        - GPU
        - DisableMDEVConfiguration
    permittedHostDevices:
      pciHostDevices:
        - externalResourceProvider: true
          pciVendorSelector: '10DE:2236' # NVIDIA A10
          resourceName: nvidia.com/GA102GL_A10

kubectl apply -f kubevirt-cr-gpu-passthrough.yaml

# vm-gpu-passthrough.yaml
apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
  name: gpu-vm
  namespace: default
spec:
  running: true
  template:
    metadata:
      labels:
        kubevirt.io/vm: gpu-vm
    spec:
      domain:
        cpu:
          cores: 4
        memory:
          guest: 16Gi
        devices:
          disks:
            - name: rootdisk
              disk:
                bus: virtio
            - name: cloudinitdisk
              disk:
                bus: virtio
          gpus:
            - deviceName: nvidia.com/GA102GL_A10
              name: gpu1
        resources:
          requests:
            memory: 16Gi
      volumes:
        - name: rootdisk
          dataVolume:
            name: ubuntu-dv
        - name: cloudinitdisk
          cloudInitNoCloud:
            userData: |
              #cloud-config
              password: ubuntu
              chpasswd: { expire: false }
              ssh_pwauth: true
              packages:
                - build-essential
                - linux-headers-$(uname -r)
              runcmd:
                - echo "GPU VM is ready"

kubectl apply -f vm-gpu-passthrough.yaml

# VM 상태 확인
kubectl get vmi gpu-vm

# VM 콘솔 접속
virtctl console gpu-vm

# VM 내부에서 GPU 확인 (NVIDIA 드라이버 설치 후)
nvidia-smi

┌─────────────────────────────────────────────────────────────────┐
│               GPU Passthrough 설정 전체 플로우                   │
│                                                                 │
│  1. BIOS: IOMMU/VT-d 활성화                                    │
│     │                                                           │
│     ▼                                                           │
│  2. Kernel: intel_iommu=on iommu=pt                             │
│     │                                                           │
│     ▼                                                           │
│  3. Module: vfio-pci 로드                                       │
│     │                                                           │
│     ▼                                                           │
│  4. GPU Operator: sandboxWorkloads.enabled=true                 │
│     │                                                           │
│     ▼                                                           │
│  5. Node Label: nvidia.com/gpu.workload.config=vm-passthrough   │
│     │                                                           │
│     ▼                                                           │
│  6. GPU Operator 자동 배포:                                      │
│     ├── VFIO Manager (GPU를 vfio-pci에 바인딩)                  │
│     └── Sandbox Device Plugin (GPU 리소스 노출)                 │
│     │                                                           │
│     ▼                                                           │
│  7. KubeVirt CR: permittedHostDevices에 GPU 등록                │
│     │                                                           │
│     ▼                                                           │
│  8. VirtualMachine: spec.domain.devices.gpus 설정               │
│     │                                                           │
│     ▼                                                           │
│  9. VM 내부: NVIDIA 드라이버 수동 설치                           │
│     │                                                           │
│     ▼                                                           │
│  10. nvidia-smi 확인 및 CUDA 워크로드 실행                      │
└─────────────────────────────────────────────────────────────────┘

# 1. NVIDIA Licensing Portal에서 vGPU Manager 다운로드
# https://ui.licensing.nvidia.com/software

# 2. vGPU Manager 컨테이너 이미지 빌드
export PRIVATE_REGISTRY="registry.internal.company.com/nvidia"
export VGPU_HOST_DRIVER_VERSION="560.35.06"
export OS_TAG="ubuntu22.04"

# GPU Operator 소스 클론
git clone https://github.com/NVIDIA/gpu-operator.git
cd gpu-operator

# vGPU Manager 이미지 빌드
VGPU_HOST_DRIVER_VERSION=${VGPU_HOST_DRIVER_VERSION} \
  IMAGE_NAME=${PRIVATE_REGISTRY}/vgpu-manager \
  OS_TAG=${OS_TAG} \
  make build-vgpu-manager

# 3. 이미지 Push
docker push ${PRIVATE_REGISTRY}/vgpu-manager:${VGPU_HOST_DRIVER_VERSION}-${OS_TAG}

# Private Registry 접근을 위한 Secret 생성
kubectl create secret docker-registry vgpu-registry-secret \
  -n gpu-operator \
  --docker-server=${PRIVATE_REGISTRY} \
  --docker-username=<username> \
  --docker-password=<password>

# vGPU 지원으로 GPU Operator 설치
helm install gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator \
  --version=v25.10.1 \
  --set sandboxWorkloads.enabled=true \
  --set sandboxWorkloads.defaultWorkload=vm-vgpu \
  --set vgpuManager.enabled=true \
  --set vgpuManager.repository=${PRIVATE_REGISTRY} \
  --set vgpuManager.image=vgpu-manager \
  --set vgpuManager.version="${VGPU_HOST_DRIVER_VERSION}-${OS_TAG}" \
  --set vgpuManager.imagePullSecrets[0]=vgpu-registry-secret

# vGPU 노드 라벨 설정
kubectl label node <gpu-node> \
  nvidia.com/gpu.workload.config=vm-vgpu --overwrite

# vGPU 프로파일 설정
kubectl label node <gpu-node> \
  nvidia.com/vgpu.config=A10-4Q --overwrite

apiVersion: v1
kind: ConfigMap
metadata:
  name: vgpu-devices-config
  namespace: gpu-operator
data:
  config.yaml: |
    version: v1
    vgpu-configs:
      A10-4Q:
        - devices: all
          vgpu-devices:
            "A10-4Q": 4
      A10-mixed:
        - devices: all
          vgpu-devices:
            "A10-4Q": 2
            "A10-6Q": 1
      A10-inference:
        - devices: [0, 1]
          vgpu-devices:
            "A10-4Q": 4
        - devices: [2, 3]
          vgpu-devices:
            "A10-8Q": 2

# kubevirt-cr-vgpu.yaml
apiVersion: kubevirt.io/v1
kind: KubeVirt
metadata:
  name: kubevirt
  namespace: kubevirt
spec:
  configuration:
    developerConfiguration:
      featureGates:
        - GPU
        - DisableMDEVConfiguration # GPU Operator가 mdev를 관리하므로 KubeVirt의 mdev 관리 비활성화
    permittedHostDevices:
      mediatedDevices:
        - externalResourceProvider: true
          mdevNameSelector: 'NVIDIA A10-4Q'
          resourceName: nvidia.com/NVIDIA_A10-4Q
        - externalResourceProvider: true
          mdevNameSelector: 'NVIDIA A10-6Q'
          resourceName: nvidia.com/NVIDIA_A10-6Q
        - externalResourceProvider: true
          mdevNameSelector: 'NVIDIA A10-8Q'
          resourceName: nvidia.com/NVIDIA_A10-8Q

kubectl apply -f kubevirt-cr-vgpu.yaml

# vm-vgpu.yaml
apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
  name: vgpu-vm
  namespace: default
spec:
  running: true
  template:
    metadata:
      labels:
        kubevirt.io/vm: vgpu-vm
    spec:
      domain:
        cpu:
          cores: 4
        memory:
          guest: 8Gi
        devices:
          disks:
            - name: rootdisk
              disk:
                bus: virtio
          gpus:
            - deviceName: nvidia.com/NVIDIA_A10-4Q
              name: vgpu1
        resources:
          requests:
            memory: 8Gi
      volumes:
        - name: rootdisk
          dataVolume:
            name: ubuntu-dv

apiVersion: nvidia.com/v1
kind: ClusterPolicy
metadata:
  name: cluster-policy
spec:
  # Container 워크로드용 드라이버 (container 노드에 배포)
  driver:
    enabled: true
    version: '560.35.03'

  # Sandbox Workloads 활성화 (KubeVirt 연동 핵심)
  sandboxWorkloads:
    enabled: true
    defaultWorkload: container # 기본은 container, 노드 라벨로 오버라이드

  # vGPU Manager (vm-vgpu 노드에 배포)
  vgpuManager:
    enabled: true
    repository: 'registry.internal.company.com/nvidia'
    image: vgpu-manager
    version: '560.35.06-ubuntu22.04'
    imagePullSecrets:
      - vgpu-registry-secret

  # vGPU Device Manager
  vgpuDeviceManager:
    enabled: true
    config:
      name: 'vgpu-devices-config'
      default: 'A10-4Q'

  # VFIO Manager (vm-passthrough 노드에 배포)
  vfioManager:
    enabled: true

  # Sandbox Device Plugin
  sandboxDevicePlugin:
    enabled: true

  # Container 워크로드 공통
  toolkit:
    enabled: true
  devicePlugin:
    enabled: true
  dcgm:
    enabled: true
  dcgmExporter:
    enabled: true
  gfd:
    enabled: true
  nodeFeatureDiscovery:
    enabled: true

# Container 워크로드용 GPU 노드
kubectl label node gpu-worker-1 nvidia.com/gpu.workload.config=container

# GPU Passthrough용 GPU 노드
kubectl label node gpu-worker-2 nvidia.com/gpu.workload.config=vm-passthrough

# vGPU용 GPU 노드
kubectl label node gpu-worker-3 nvidia.com/gpu.workload.config=vm-vgpu

# VM 콘솔 접속
virtctl console gpu-vm

# VM 내부에서 NVIDIA 드라이버 설치 (Ubuntu)
sudo apt-get update
sudo apt-get install -y linux-headers-$(uname -r)

# GPU Passthrough의 경우: 데이터센터 드라이버 설치
wget https://us.download.nvidia.com/tesla/560.35.03/NVIDIA-Linux-x86_64-560.35.03.run
sudo bash NVIDIA-Linux-x86_64-560.35.03.run --silent

# vGPU의 경우: vGPU Guest 드라이버 설치 (NVIDIA Licensing Portal에서 다운로드)
sudo bash NVIDIA-Linux-x86_64-560.35.06-grid.run --silent

# GPU 확인
nvidia-smi

# CUDA 워크로드 테스트
sudo apt-get install -y nvidia-cuda-toolkit
cat <<'EOF' > hello_cuda.cu
#include <stdio.h>
__global__ void hello() { printf("Hello from GPU!\n"); }
int main() { hello<<<1,1>>>(); cudaDeviceSynchronize(); return 0; }
EOF
nvcc hello_cuda.cu -o hello_cuda
./hello_cuda
# 출력: Hello from GPU!

# GPU VM의 evictionStrategy 설정
apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
  name: gpu-vm
spec:
  template:
    spec:
      evictionStrategy: None # GPU VM은 Live Migration 불가이므로 None 또는 External
      domain:
        devices:
          gpus:
            - deviceName: nvidia.com/GA102GL_A10
              name: gpu1

┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│   GPU Node #1   │     │   GPU Node #2   │     │   GPU Node #3   │
│                 │     │                 │     │                 │
│ ┌─────────────┐ │     │ ┌─────────────┐ │     │ ┌─────────────┐ │
│ │DCGM Exporter│ │     │ │DCGM Exporter│ │     │ │DCGM Exporter│ │
│ │  :9400      │ │     │ │  :9400      │ │     │ │  :9400      │ │
│ └──────┬──────┘ │     │ └──────┬──────┘ │     │ └──────┬──────┘ │
└────────┼────────┘     └────────┼────────┘     └────────┼────────┘
         │                       │                       │
         └───────────┬───────────┘───────────────────────┘
                     │
                     ▼
          ┌──────────────────┐
          │    Prometheus     │
          │ (ServiceMonitor) │
          │  scrape :9400    │
          └────────┬─────────┘
                   │
                   ▼
          ┌──────────────────┐
          │     Grafana       │
          │  Dashboard #12239│
          │ (NVIDIA DCGM     │
          │  Exporter)       │
          └──────────────────┘

# servicemonitor-dcgm.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: nvidia-dcgm-exporter
  namespace: gpu-operator
  labels:
    app: nvidia-dcgm-exporter
    release: prometheus # Prometheus Operator의 serviceMonitorSelector에 맞춰야 함
spec:
  selector:
    matchLabels:
      app: nvidia-dcgm-exporter
  namespaceSelector:
    matchNames:
      - gpu-operator
  endpoints:
    - port: gpu-metrics
      interval: 15s
      honorLabels: true
      path: /metrics
      relabelings:
        - sourceLabels: [__meta_kubernetes_pod_node_name]
          targetLabel: node
        - sourceLabels: [__meta_kubernetes_namespace]
          targetLabel: namespace

spec:
  dcgmExporter:
    enabled: true
    serviceMonitor:
      enabled: true
      interval: '15s'
      honorLabels: true
      additionalLabels:
        release: prometheus # Prometheus Operator 라벨 매칭

# gpu-alerts.yaml
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: gpu-alerts
  namespace: gpu-operator
  labels:
    release: prometheus
spec:
  groups:
    - name: gpu-health
      rules:
        # GPU 온도 경고 (85도 이상)
        - alert: GPUTemperatureHigh
          expr: DCGM_FI_DEV_GPU_TEMP > 85
          for: 5m
          labels:
            severity: warning
          annotations:
            summary: 'GPU 온도 경고 ({{ $labels.gpu }})'
            description: >
              노드 {{ $labels.node }}의 GPU {{ $labels.gpu }}
              온도가 {{ $value }}C입니다. (임계값: 85C)

        # GPU 온도 위험 (90도 이상)
        - alert: GPUTemperatureCritical
          expr: DCGM_FI_DEV_GPU_TEMP > 90
          for: 2m
          labels:
            severity: critical
          annotations:
            summary: 'GPU 온도 위험 ({{ $labels.gpu }})'
            description: >
              노드 {{ $labels.node }}의 GPU {{ $labels.gpu }}
              온도가 {{ $value }}C입니다. 즉시 확인이 필요합니다.

        # GPU 메모리 부족 경고
        - alert: GPUMemoryAlmostFull
          expr: (DCGM_FI_DEV_FB_USED / (DCGM_FI_DEV_FB_USED + DCGM_FI_DEV_FB_FREE)) * 100 > 95
          for: 5m
          labels:
            severity: warning
          annotations:
            summary: 'GPU 메모리 부족 ({{ $labels.gpu }})'
            description: >
              노드 {{ $labels.node }}의 GPU {{ $labels.gpu }}
              메모리 사용률이 {{ $value | printf "%.1f" }}%입니다.

        # Double-bit ECC 에러 발생 (즉시 경고)
        - alert: GPUDoublebitECCError
          expr: DCGM_FI_DEV_ECC_DBE_VOL_TOTAL > 0
          for: 0m
          labels:
            severity: critical
          annotations:
            summary: 'GPU Double-bit ECC 에러 ({{ $labels.gpu }})'
            description: >
              노드 {{ $labels.node }}의 GPU {{ $labels.gpu }}에서
              교정 불가능한 Double-bit ECC 에러가 감지되었습니다.
              GPU 하드웨어 교체를 검토하세요.

        # GPU 사용률 장기 과부하
        - alert: GPUHighUtilization
          expr: DCGM_FI_DEV_GPU_UTIL > 95
          for: 30m
          labels:
            severity: warning
          annotations:
            summary: 'GPU 장기 과부하 ({{ $labels.gpu }})'
            description: >
              노드 {{ $labels.node }}의 GPU {{ $labels.gpu }}가
              30분 이상 95% 이상 사용률을 유지하고 있습니다.

        # XID 에러 발생
        - alert: GPUXidError
          expr: increase(DCGM_FI_DEV_XID_ERRORS[5m]) > 0
          for: 0m
          labels:
            severity: warning
          annotations:
            summary: 'GPU XID 에러 발생 ({{ $labels.gpu }})'
            description: >
              노드 {{ $labels.node }}의 GPU {{ $labels.gpu }}에서
              XID 에러가 발생했습니다. dmesg 로그를 확인하세요.

    - name: gpu-operator-health
      rules:
        # GPU Operator Pod 비정상
        - alert: GPUOperatorPodNotReady
          expr: |
            kube_pod_status_ready{namespace="gpu-operator", condition="true"} == 0
          for: 10m
          labels:
            severity: warning
          annotations:
            summary: 'GPU Operator Pod 비정상'
            description: >
              GPU Operator 네임스페이스의 {{ $labels.pod }}
              Pod이 10분 이상 Ready 상태가 아닙니다.

kubectl apply -f gpu-alerts.yaml

# GPU 노드 라벨링
kubectl label node gpu-worker-{1..4} \
  node-role.kubernetes.io/gpu-worker=""

# GPU 용도별 라벨링
kubectl label node gpu-worker-1 gpu-workload=training
kubectl label node gpu-worker-2 gpu-workload=training
kubectl label node gpu-worker-3 gpu-workload=inference
kubectl label node gpu-worker-4 gpu-workload=inference

# GPU 세대별 라벨링 (GFD가 자동으로 하지만, 커스텀 라벨도 유용)
kubectl label node gpu-worker-1 gpu-tier=high       # A100/H100
kubectl label node gpu-worker-3 gpu-tier=standard    # T4/L4

# GPU 노드에 Taint 적용
kubectl taint nodes gpu-worker-{1..4} \
  nvidia.com/gpu=present:NoSchedule

apiVersion: v1
kind: Pod
metadata:
  name: gpu-training
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Equal
      value: present
      effect: NoSchedule
  nodeSelector:
    nvidia.com/gpu.product: 'NVIDIA-A100-SXM4-40GB'
  containers:
    - name: training
      image: my-training:latest
      resources:
        limits:
          nvidia.com/gpu: 4

# gpu-resourcequota.yaml
apiVersion: v1
kind: ResourceQuota
metadata:
  name: gpu-quota
  namespace: ml-team-a
spec:
  hard:
    requests.nvidia.com/gpu: '8' # 최대 GPU 8개 요청 가능
    limits.nvidia.com/gpu: '8' # 최대 GPU 8개 제한
    pods: '20' # 최대 Pod 20개
---
apiVersion: v1
kind: ResourceQuota
metadata:
  name: gpu-quota
  namespace: ml-team-b
spec:
  hard:
    requests.nvidia.com/gpu: '4'
    limits.nvidia.com/gpu: '4'
    pods: '10'

kubectl apply -f gpu-resourcequota.yaml

# 할당량 확인
kubectl get resourcequota -n ml-team-a
# NAME        AGE   REQUEST                     LIMIT
# gpu-quota   1m    requests.nvidia.com/gpu: 2/8   limits.nvidia.com/gpu: 2/8

# gpu-priority-classes.yaml

# 프로덕션 학습 작업 (최고 우선순위)
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: gpu-production-training
value: 1000000
globalDefault: false
description: '프로덕션 GPU 학습 워크로드'
---
# 프로덕션 추론 서비스
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: gpu-production-inference
value: 900000
globalDefault: false
description: '프로덕션 GPU 추론 서비스'
---
# 개발/실험 워크로드 (낮은 우선순위)
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: gpu-development
value: 100000
globalDefault: false
preemptionPolicy: Never # 다른 Pod을 선점하지 않음
description: '개발/실험 GPU 워크로드'

# PriorityClass 사용 예시
apiVersion: v1
kind: Pod
metadata:
  name: important-training
spec:
  priorityClassName: gpu-production-training
  containers:
    - name: training
      image: my-training:latest
      resources:
        limits:
          nvidia.com/gpu: 4

# 1. 현재 드라이버 버전 확인
kubectl get clusterpolicy cluster-policy -o jsonpath='{.spec.driver.version}'

# 2. 드라이버 버전 업그레이드
kubectl patch clusterpolicies.nvidia.com/cluster-policy \
  --type merge \
  -p '{"spec": {"driver": {"version": "565.57.01"}}}'

# 3. 업그레이드 진행 상태 확인
kubectl get pods -n gpu-operator -l app=nvidia-driver-daemonset -w

# 4. 노드별 업그레이드 완료 확인
kubectl get nodes -o custom-columns=\
'NAME:.metadata.name,DRIVER:.metadata.labels.nvidia\.com/cuda\.driver\.major'

# Multi-GPU 노드 스케줄링을 위한 Topology 인식
apiVersion: v1
kind: Pod
metadata:
  name: multi-gpu-training
spec:
  containers:
    - name: training
      image: nvcr.io/nvidia/pytorch:24.05-py3
      env:
        - name: NVIDIA_VISIBLE_DEVICES
          value: 'all'
        - name: NCCL_P2P_LEVEL
          value: 'NVL' # NVLink 사용
        - name: NCCL_TOPO_DUMP_FILE
          value: '/tmp/nccl_topo.xml'
      resources:
        limits:
          nvidia.com/gpu: 8 # 8-GPU 학습

# 1. Driver Pod 로그 확인
kubectl logs -n gpu-operator -l app=nvidia-driver-daemonset --tail=100

# 2. Nouveau 모듈 충돌 확인
kubectl exec -n gpu-operator -it <driver-pod> -- lsmod | grep nouveau

# 해결: nouveau 블랙리스트
cat <<EOF | sudo tee /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0
EOF
sudo update-initramfs -u && sudo reboot

# 3. 커널 헤더 누락 확인
kubectl logs -n gpu-operator <driver-pod> | grep "kernel headers"

# 해결: 커널 헤더 설치
sudo apt-get install -y linux-headers-$(uname -r)

# 4. dmesg에서 GPU 관련 에러 확인
dmesg | grep -i "NVRM\|nvidia\|Xid"

# 5. GPU 하드웨어 인식 확인
lspci | grep -i nvidia

# 1. Container Toolkit Pod 상태 확인
kubectl get pods -n gpu-operator -l app=nvidia-container-toolkit-daemonset

# 2. Device Plugin Pod 상태 확인
kubectl get pods -n gpu-operator -l app=nvidia-device-plugin-daemonset

# 3. 노드의 GPU 리소스 확인
kubectl describe node <node> | grep "nvidia.com/gpu"
# nvidia.com/gpu가 0이면 Device Plugin 문제

# 4. Pod의 GPU 리소스 요청 확인
kubectl get pod <pod-name> -o yaml | grep -A5 resources
# limits에 nvidia.com/gpu가 있는지 확인

# 5. CDI 설정 확인
kubectl exec -n gpu-operator -it <toolkit-pod> -- \
  ls /var/run/cdi/

# 1. 드라이버의 CUDA 지원 버전 확인
kubectl exec -n gpu-operator -it <driver-pod> -- nvidia-smi
# 출력의 "CUDA Version" 확인

# 2. 컨테이너 이미지의 CUDA 버전 확인
kubectl exec -it <app-pod> -- nvcc --version

# 3. 호환성 확인
# 드라이버 CUDA 버전 >= 애플리케이션 CUDA 버전이어야 함
# 예: 드라이버 CUDA 12.6 >= 애플리케이션 CUDA 12.4 (OK)
#     드라이버 CUDA 12.2 < 애플리케이션 CUDA 12.6 (FAIL)

# 해결: 드라이버 업그레이드 또는 애플리케이션 CUDA 버전 다운그레이드

# 1. MIG Manager 로그 확인
kubectl logs -n gpu-operator -l app=nvidia-mig-manager --tail=100

# 2. MIG 상태 확인 (노드에서)
nvidia-smi mig -lgi
nvidia-smi mig -lci

# 3. GPU에서 실행 중인 프로세스 확인
nvidia-smi pmon -s u -d 1 -c 1

# 4. MIG 모드 활성화 확인
nvidia-smi -i 0 --query-gpu=mig.mode.current --format=csv
# "Enabled"여야 함

# 5. MIG 설정 재시도
kubectl label node <node> nvidia.com/mig.config=all-disabled --overwrite
# 잠시 대기 후
kubectl label node <node> nvidia.com/mig.config=all-1g.10gb --overwrite

# 6. 리부트가 필요한 경우 (특히 클라우드 환경)
# ClusterPolicy에서 WITH_REBOOT=true 설정
kubectl patch clusterpolicies.nvidia.com/cluster-policy \
  --type merge \
  -p '{"spec":{"migManager":{"env":[{"name":"WITH_REBOOT","value":"true"}]}}}'

# 1. 노드 워크로드 라벨 확인
kubectl get node <node> -o jsonpath='{.metadata.labels.nvidia\.com/gpu\.workload\.config}'
# vm-passthrough 또는 vm-vgpu여야 함

# 2. VFIO Manager 또는 vGPU Manager 상태 확인
kubectl get pods -n gpu-operator | grep -E "vfio|vgpu"

# 3. Sandbox Device Plugin 상태 확인
kubectl get pods -n gpu-operator -l app=nvidia-sandbox-device-plugin-daemonset

# 4. 노드의 GPU 리소스 확인
kubectl describe node <node> | grep nvidia.com
# nvidia.com/GA102GL_A10 또는 nvidia.com/NVIDIA_A10-4Q 등이 있어야 함

# 5. KubeVirt CR의 permittedHostDevices 확인
kubectl get kubevirt kubevirt -n kubevirt -o yaml | grep -A20 permittedHostDevices

# 6. VMI 상태 확인
kubectl describe vmi <vm-name>
# Events에 GPU 할당 관련 에러 확인

# 7. IOMMU 그룹 확인 (Passthrough의 경우)
# IOMMU 그룹 내 모든 디바이스가 vfio-pci에 바인딩되어야 함
ls /sys/kernel/iommu_groups/*/devices/

# 1. DCGM Exporter Pod 상태 확인
kubectl get pods -n gpu-operator -l app=nvidia-dcgm-exporter

# 2. DCGM Exporter 메트릭 직접 확인
kubectl port-forward -n gpu-operator svc/nvidia-dcgm-exporter 9400:9400
curl http://localhost:9400/metrics | head -50

# 3. ServiceMonitor 확인
kubectl get servicemonitor -n gpu-operator
kubectl describe servicemonitor nvidia-dcgm-exporter -n gpu-operator

# 4. Prometheus 타겟 확인
# Prometheus UI > Status > Targets에서 dcgm-exporter 타겟 확인
# 상태가 "DOWN"이면 네트워크 또는 라벨 매칭 문제

# 5. ServiceMonitor 라벨이 Prometheus의 serviceMonitorSelector와 일치하는지 확인
kubectl get prometheus -n monitoring -o yaml | grep -A5 serviceMonitorSelector

# 6. DCGM Exporter 로그 확인
kubectl logs -n gpu-operator -l app=nvidia-dcgm-exporter --tail=50

# ═══════════════════════════════════════════════════════════
# GPU Operator 전체 상태 점검 스크립트
# ═══════════════════════════════════════════════════════════

echo "=== 1. GPU Operator Pod 상태 ==="
kubectl get pods -n gpu-operator -o wide

echo ""
echo "=== 2. ClusterPolicy 상태 ==="
kubectl get clusterpolicy -o jsonpath='{.items[0].status.state}'
echo ""

echo ""
echo "=== 3. GPU 노드 라벨 ==="
kubectl get nodes -o custom-columns=\
'NAME:.metadata.name,GPU_PRESENT:.metadata.labels.feature\.node\.kubernetes\.io/pci-10de\.present,GPU_PRODUCT:.metadata.labels.nvidia\.com/gpu\.product,GPU_COUNT:.metadata.labels.nvidia\.com/gpu\.count,GPU_MEMORY:.metadata.labels.nvidia\.com/gpu\.memory,MIG_CONFIG:.metadata.labels.nvidia\.com/mig\.config,WORKLOAD:.metadata.labels.nvidia\.com/gpu\.workload\.config'

echo ""
echo "=== 4. GPU 리소스 할당 상태 ==="
kubectl describe nodes | grep -A6 "nvidia.com/gpu"

echo ""
echo "=== 5. Driver DaemonSet 상태 ==="
kubectl get ds -n gpu-operator nvidia-driver-daemonset -o wide 2>/dev/null || echo "Driver DaemonSet not found"

echo ""
echo "=== 6. 문제 있는 Pod 확인 ==="
kubectl get pods -n gpu-operator --field-selector=status.phase!=Running,status.phase!=Succeeded

echo ""
echo "=== 7. 최근 이벤트 ==="
kubectl get events -n gpu-operator --sort-by='.lastTimestamp' | tail -20

echo ""
echo "=== 8. Validator 로그 ==="
kubectl logs -n gpu-operator -l app=nvidia-operator-validator --tail=20 2>/dev/null

echo ""
echo "=== 9. ClusterPolicy 전체 설정 ==="
kubectl get clusterpolicy cluster-policy -o yaml

# Driver 디버깅
kubectl logs -n gpu-operator -l app=nvidia-driver-daemonset -c nvidia-driver-ctr --tail=100

# Toolkit 디버깅
kubectl logs -n gpu-operator -l app=nvidia-container-toolkit-daemonset --tail=100

# Device Plugin 디버깅
kubectl logs -n gpu-operator -l app=nvidia-device-plugin-daemonset --tail=100

# DCGM Exporter 디버깅
kubectl logs -n gpu-operator -l app=nvidia-dcgm-exporter --tail=100

# MIG Manager 디버깅
kubectl logs -n gpu-operator -l app=nvidia-mig-manager --tail=100

# Validator 디버깅
kubectl logs -n gpu-operator -l app=nvidia-operator-validator --tail=100

# VFIO Manager 디버깅 (KubeVirt Passthrough)
kubectl logs -n gpu-operator -l app=nvidia-vfio-manager --tail=100

# vGPU Manager 디버깅
kubectl logs -n gpu-operator -l app=nvidia-vgpu-manager-daemonset --tail=100