GPU Operator × KubeVirt 総まとめ — コンポーネント・設定・バージョン、部分MIGと手動MIGまで

オペランド                 役割
─────────────────────────  ─────────────────────────────────────
driver                     NVIDIAドライバーをコンテナとしてロード
container-toolkit          ランタイムがGPUをコンテナに公開するよう設定
device-plugin              nvidia.com/gpuリソースをスケジューラーに広告
gpu-feature-discovery      GPUモデル・メモリ・MIG状態をノードラベルに
dcgm-exporter              使用率・温度・電力をPrometheusメトリクスに
mig-manager                ノードラベルベースのMIGパーティショニング
node-feature-discovery     ハードウェア検出 (依存コンポーネント)
validator                  各段階の検証ジョブ
(sandbox系)                vfio-manager, vgpu-device-manager,
                           kubevirt-gpu-device-plugin — 第5部にて

# ClusterPolicyの主要フィールド (抜粋)
spec:
  driver:
    enabled: true          # ノードに既にドライバーがあればfalse
    version: "580.65.06"   # ドライバーバージョンを固定
  toolkit:
    enabled: true
  mig:
    strategy: mixed        # single | mixed
  migManager:
    enabled: true
    config:
      name: custom-mig-config   # カスタムMIGプロファイルのConfigMap
    env:
      - name: WITH_REBOOT       # CSPのように再起動が必要な環境
        value: "true"
  devicePlugin:
    config:
      name: time-slicing-config # タイムスライシング設定もConfigMapで
  sandboxWorkloads:
    enabled: false         # KubeVirt連携時はtrue (第5部)

apiVersion: v1
kind: ConfigMap
metadata:
  name: custom-mig-config
  namespace: gpu-operator
data:
  config.yaml: |
    version: v1
    mig-configs:
      # 0番GPUだけMIG、1〜7番はそのまま
      partial-mig:
        - devices: [0]
          mig-enabled: true
          mig-devices:
            "1g.10gb": 4
            "3g.40gb": 1
        - devices: [1, 2, 3, 4, 5, 6, 7]
          mig-enabled: false

# ① ClusterPolicyがこのConfigMapを参照するよう指定 (設定済みなら省略)
kubectl patch clusterpolicies.nvidia.com/cluster-policy --type='json' \
  -p='[{"op":"replace","path":"/spec/migManager/config/name","value":"custom-mig-config"}]'

# ② 戦略がmixedであることを確認 — プロファイルが混在するためsingleでは表現できない
kubectl patch clusterpolicies.nvidia.com/cluster-policy --type='json' \
  -p='[{"op":"replace","path":"/spec/mig/strategy","value":"mixed"}]'

# ③ ノードにプロファイルを適用
kubectl label nodes <ノード> nvidia.com/mig.config=partial-mig --overwrite

# ④ 結果: リソースは次のように広告されます
#   nvidia.com/gpu: 7                ← MIGしていない7枚
#   nvidia.com/mig-1g.10gb: 4        ← 0番から切り出された断片
#   nvidia.com/mig-3g.40gb: 1

# ① MIGモードを有効化 (GPU 0番のみ) — 先に対象GPUのプロセスを空けておく必要あり
sudo nvidia-smi -i 0 -mig 1
# "Pending" と表示されたらGPUリセットまたは再起動が必要:
sudo nvidia-smi --gpu-reset -i 0

# ② 作成できるGPUインスタンス(GI)のプロファイルを確認
nvidia-smi mig -lgip
#  例: H100 80GB → 1g.10gb(ID 19), 2g.20gb(14), 3g.40gb(9), 7g.80gb(0) ...

# ③ GIを作成 — 3g.40gbを1個 + 1g.10gbを4個、-C はコンピュートインスタンス(CI)まで自動作成
sudo nvidia-smi mig -i 0 -cgi 9,19,19,19,19 -C

# ④ 確認
nvidia-smi mig -lgi        # 作成されたGIの一覧
nvidia-smi -L              # MIGデバイスのUUID一覧 (MIG-xxxx形式)

# ⑤ 特定のインスタンスで実行 — UUIDで指定
CUDA_VISIBLE_DEVICES=MIG-<uuid> python infer.py

# ⑥ 解除 — CI → GI の順に削除してからMIGモードを無効化
sudo nvidia-smi mig -i 0 -dci && sudo nvidia-smi mig -i 0 -dgi
sudo nvidia-smi -i 0 -mig 0

コンポーネント    形態          役割
──────────────  ───────────  ─────────────────────────────────────
virt-operator    Deployment   KubeVirt自体のインストール・アップグレード管理
virt-controller  Deployment   クラスターレベルのVMライフサイクル (VMI作成など)
virt-handler     DaemonSet    ノードレベルのデーモン — VMIスペックとlibvirtドメインを同期
virt-launcher    Pod(VMごと1)  VMを包むPod — 内部のlibvirtdがQEMU/KVMを起動

apiVersion: kubevirt.io/v1
kind: KubeVirt
metadata:
  name: kubevirt
  namespace: kubevirt
spec:
  configuration:
    developerConfiguration:
      featureGates:
        - GPU                 # VMへのGPU割り当てを許可
        - HostDevices
    permittedHostDevices:     # どのホストデバイスをVMに渡せるか
      pciHostDevices:
        - pciVendorSelector: "10de:2331"     # NVIDIA H100 (vendor:device)
          resourceName: "nvidia.com/GH100_H100_PCIE"
          externalResourceProvider: true     # GPU Operatorのプラグインが広告

helm install --wait gpu-operator \
  -n gpu-operator --create-namespace \
  nvidia/gpu-operator --version=v26.3.3 \
  --set sandboxWorkloads.enabled=true

値               ノードの用途           デプロイされるオペランド
──────────────  ────────────────────  ─────────────────────────────
container        通常のGPUコンテナ      driver, device-plugin, ... (第1部の構成)
vm-passthrough   VMにGPUを丸ごと       vfio-manager (vfio-pciバインド),
                                       kubevirt-gpu-device-plugin
vm-vgpu          VMにvGPUの断片        vgpu-manager, vgpu-device-manager

# VirtualMachineスペック抜粋
spec:
  template:
    spec:
      domain:
        devices:
          gpus:
            - deviceName: nvidia.com/GH100_H100_PCIE
              name: gpu1