GPU Operator × KubeVirt 完全整理 — 组件、配置、版本，从部分 MIG 到手动 MIG

Operand                     作用
─────────────────────────  ─────────────────────────────────────
driver                     以容器方式加载 NVIDIA 驱动
container-toolkit          配置运行时,使容器能访问 GPU
device-plugin              向调度器广播 nvidia.com/gpu 资源
gpu-feature-discovery      把 GPU 型号、显存、MIG 状态写成节点标签
dcgm-exporter              把利用率、温度、功耗导出为 Prometheus 指标
mig-manager                基于节点标签的 MIG 分区
node-feature-discovery     硬件检测(依赖组件)
validator                  各阶段的校验 Job
(sandbox 系列)             vfio-manager、vgpu-device-manager、
                           kubevirt-gpu-device-plugin —— 见第五部分

# ClusterPolicy 主要字段(节选)
spec:
  driver:
    enabled: true          # 若节点已有驱动则设为 false
    version: "580.65.06"   # 固定驱动版本
  toolkit:
    enabled: true
  mig:
    strategy: mixed        # single | mixed
  migManager:
    enabled: true
    config:
      name: custom-mig-config   # 自定义 MIG 配置文件的 ConfigMap
    env:
      - name: WITH_REBOOT       # 类似 CSP 那种需要重启的环境
        value: "true"
  devicePlugin:
    config:
      name: time-slicing-config # 时间片配置也放在 ConfigMap 里
  sandboxWorkloads:
    enabled: false         # 对接 KubeVirt 时设为 true(第五部分)

apiVersion: v1
kind: ConfigMap
metadata:
  name: custom-mig-config
  namespace: gpu-operator
data:
  config.yaml: |
    version: v1
    mig-configs:
      # 只对 0 号 GPU 做 MIG,1~7 号保持原样
      partial-mig:
        - devices: [0]
          mig-enabled: true
          mig-devices:
            "1g.10gb": 4
            "3g.40gb": 1
        - devices: [1, 2, 3, 4, 5, 6, 7]
          mig-enabled: false

# ① 让 ClusterPolicy 指向这个 ConfigMap(如已配置可跳过)
kubectl patch clusterpolicies.nvidia.com/cluster-policy --type='json' \
  -p='[{"op":"replace","path":"/spec/migManager/config/name","value":"custom-mig-config"}]'

# ② 确认策略是 mixed —— 配置文件在不同 GPU 间不一样,single 无法表达
kubectl patch clusterpolicies.nvidia.com/cluster-policy --type='json' \
  -p='[{"op":"replace","path":"/spec/mig/strategy","value":"mixed"}]'

# ③ 把配置应用到节点
kubectl label nodes <节点> nvidia.com/mig.config=partial-mig --overwrite

# ④ 结果:资源会这样被广播
#   nvidia.com/gpu: 7                ← 未做 MIG 的 7 张卡
#   nvidia.com/mig-1g.10gb: 4        ← 从 0 号卡切出的碎片
#   nvidia.com/mig-3g.40gb: 1

# ① 开启 MIG 模式(仅 0 号 GPU)—— 需先清空目标 GPU 上的进程
sudo nvidia-smi -i 0 -mig 1
# 若显示 "Pending",需要重置 GPU 或重启:
sudo nvidia-smi --gpu-reset -i 0

# ② 确认可创建的 GPU 实例(GI)配置文件
nvidia-smi mig -lgip
#  例如:H100 80GB → 1g.10gb(ID 19)、2g.20gb(14)、3g.40gb(9)、7g.80gb(0) ...

# ③ 创建 GI —— 3g.40gb 一个 + 1g.10gb 四个,-C 会自动一并创建计算实例(CI)
sudo nvidia-smi mig -i 0 -cgi 9,19,19,19,19 -C

# ④ 确认
nvidia-smi mig -lgi        # 已创建的 GI 列表
nvidia-smi -L              # MIG 设备的 UUID 列表(MIG-xxxx 格式)

# ⑤ 在特定实例上运行 —— 用 UUID 指定
CUDA_VISIBLE_DEVICES=MIG-<uuid> python infer.py

# ⑥ 释放 —— 按 CI → GI 的顺序删除,再关闭 MIG 模式
sudo nvidia-smi mig -i 0 -dci && sudo nvidia-smi mig -i 0 -dgi
sudo nvidia-smi -i 0 -mig 0

组件             形态          作用
──────────────  ───────────  ─────────────────────────────────────
virt-operator    Deployment   管理 KubeVirt 自身的安装与升级
virt-controller  Deployment   集群级虚拟机生命周期管理(创建 VMI 等)
virt-handler     DaemonSet    节点级守护进程 —— 同步 VMI 规格与 libvirt 域
virt-launcher    Pod(每虚拟机一个)  包裹虚拟机的 Pod —— 内部的 libvirtd 驱动 QEMU/KVM

apiVersion: kubevirt.io/v1
kind: KubeVirt
metadata:
  name: kubevirt
  namespace: kubevirt
spec:
  configuration:
    developerConfiguration:
      featureGates:
        - GPU                 # 允许给虚拟机分配 GPU
        - HostDevices
    permittedHostDevices:     # 哪些主机设备可以交给虚拟机
      pciHostDevices:
        - pciVendorSelector: "10de:2331"     # NVIDIA H100(vendor:device)
          resourceName: "nvidia.com/GH100_H100_PCIE"
          externalResourceProvider: true     # 由 GPU Operator 的插件负责广播

helm install --wait gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator --version=v26.3.3 \
  --set sandboxWorkloads.enabled=true

值               节点用途              部署的 operand
──────────────  ────────────────────  ─────────────────────────────
container        普通 GPU 容器          driver、device-plugin……(第一部分的配置)
vm-passthrough   把 GPU 整块交给虚拟机   vfio-manager(vfio-pci 绑定),
                                       kubevirt-gpu-device-plugin
vm-vgpu          给虚拟机分配 vGPU 碎片  vgpu-manager、vgpu-device-manager

# VirtualMachine 规格节选
spec:
  template:
    spec:
      domain:
        devices:
          gpus:
            - deviceName: nvidia.com/GH100_H100_PCIE
              name: gpu1