[仮想化] 08. KubeVirt + GPU: VMでGPUアクセラレーションを活用する

# ノードをVMパススルーモードに設定
kubectl label node worker-gpu-01 \
  nvidia.com/gpu.workload.config=vm-passthrough --overwrite

# ノードをvGPUモードに設定
kubectl label node worker-gpu-01 \
  nvidia.com/gpu.workload.config=vm-vgpu --overwrite

# デフォルトのコンテナモードに復元
kubectl label node worker-gpu-01 \
  nvidia.com/gpu.workload.config=container --overwrite

ノードラベル変更
      |
      v
GPU Operatorが変更を検知
      |
      v
既存GPUソフトウェアスタックをクリーンアップ
      |
      v
新モードに合わせたコンポーネントをデプロイ
      |
      +-- container: Driver + Toolkit + Device Plugin
      |
      +-- vm-passthrough: VFIO Manager + Sandbox Device Plugin
      |
      +-- vm-vgpu: vGPU Manager + Sandbox Device Plugin

# Intel CPUの場合、カーネルパラメータを追加
# GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt"

# AMD CPUの場合
# GRUB_CMDLINE_LINUX="amd_iommu=on iommu=pt"

# GRUBを更新して再起動
sudo update-grub
sudo reboot

# IOMMUの有効化確認
dmesg | grep -i iommu
# 出力: DMAR: IOMMU enabled

+------------------------------------------+
|            Worker Node                    |
|  +------------------------------------+  |
|  | VFIO Manager (DaemonSet)           |  |
|  |                                    |  |
|  |  1. vfio-pciカーネルモジュールロード |  |
|  |  2. GPUをホストドライバからアンバインド|  |
|  |  3. GPUをvfio-pciにバインド         |  |
|  |                                    |  |
|  +------------------------------------+  |
|                                          |
|  GPU状態:                                 |
|  nvidiaドライバ --> vfio-pciドライバ       |
+------------------------------------------+

+------------------------------------------+
| Sandbox Device Plugin (DaemonSet)        |
|                                          |
| 1. VFIOにバインドされたGPUデバイスを検出  |
| 2. nvidia.com/gpuリソースとしてkubeletに登録|
| 3. KubeVirt VMがGPUを要求可能            |
+------------------------------------------+

+------------------------------------------+
|            Worker Node                    |
|  +------------------------------------+  |
|  | vGPU Manager (DaemonSet)           |  |
|  |                                    |  |
|  |  - vGPUホストドライバのインストール  |  |
|  |  - Mediated DeviceまたはSR-IOV VF   |  |
|  |    の作成                           |  |
|  +------------------------------------+  |
|                                          |
|  +------------------------------------+  |
|  | Sandbox Device Plugin              |  |
|  |  - vGPUデバイスの検出               |  |
|  |  - nvidia.com/VGPU_TYPEとして登録   |  |
|  +------------------------------------+  |
+------------------------------------------+

apiVersion: kubevirt.io/v1
kind: KubeVirt
metadata:
  name: kubevirt
  namespace: kubevirt
spec:
  configuration:
    permittedHostDevices:
      pciHostDevices:
        - pciVendorSelector: '10DE:20B5'
          resourceName: 'nvidia.com/gpu'
          externalResourceProvider: true
      mediatedDevices:
        - mdevNameSelector: 'NVIDIA A100-1-5C'
          resourceName: 'nvidia.com/NVIDIA_A100-1-5C'

# GPU PCI IDの確認
lspci -nn | grep NVIDIA
# 出力: 3b:00.0 3D controller [0302]: NVIDIA Corporation A100 [10DE:20B5]

apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
  name: gpu-passthrough-vm
spec:
  running: true
  template:
    metadata:
      labels:
        app: gpu-vm
    spec:
      domain:
        cpu:
          cores: 8
        memory:
          guest: 32Gi
        devices:
          disks:
            - name: rootdisk
              disk:
                bus: virtio
          gpus:
            - name: gpu1
              deviceName: nvidia.com/gpu
          interfaces:
            - name: default
              masquerade: {}
      networks:
        - name: default
          pod: {}
      volumes:
        - name: rootdisk
          dataVolume:
            name: ubuntu-gpu-dv

apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
  name: vgpu-vm
spec:
  running: true
  template:
    spec:
      domain:
        cpu:
          cores: 4
        memory:
          guest: 16Gi
        devices:
          disks:
            - name: rootdisk
              disk:
                bus: virtio
          gpus:
            - name: vgpu1
              deviceName: nvidia.com/NVIDIA_A100-1-5C
          interfaces:
            - name: default
              masquerade: {}
      networks:
        - name: default
          pod: {}
      volumes:
        - name: rootdisk
          dataVolume:
            name: ubuntu-vgpu-dv

# VMコンソールに接続
virtctl console gpu-passthrough-vm

# NVIDIAドライバのインストール（Ubuntu）
sudo apt-get update
sudo apt-get install -y linux-headers-$(uname -r)

# NVIDIAドライバリポジトリの追加
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

# ドライバのインストール
sudo apt-get install -y nvidia-driver-550

# 再起動後に確認
sudo reboot
nvidia-smi

1. NVIDIA公式サイトからドライバをダウンロード
   - パススルー: 標準GPUドライバ
   - vGPU: NVIDIA vGPUゲストドライバ

2. RDPまたはVNCでWindows VMに接続

3. ドライバインストーラーを実行

4. 再起動後、デバイスマネージャーでGPUを確認

+------------------------------------------------------------------+
|                    Kubernetes Cluster                              |
|                                                                    |
|  +---------------------------+  +------------------------------+  |
|  | Container Node            |  | GPU Node (vm-passthrough)    |  |
|  | gpu.workload.config:      |  | gpu.workload.config:         |  |
|  |   container               |  |   vm-passthrough             |  |
|  |                           |  |                              |  |
|  | +-------+ +-------+      |  | +-------------------------+  |  |
|  | | Pod   | | Pod   |      |  | | VFIO Manager            |  |  |
|  | | GPU:1 | | GPU:1 |      |  | | (vfio-pci bind)         |  |  |
|  | +-------+ +-------+      |  | +-------------------------+  |  |
|  |                           |  |                              |  |
|  | NVIDIA Driver             |  | +-------------------------+  |  |
|  | Container Toolkit         |  | | Sandbox Device Plugin   |  |  |
|  | Device Plugin             |  | +-------------------------+  |  |
|  +---------------------------+  |                              |  |
|                                  | +--------+  +--------+     |  |
|                                  | |  VM 1  |  |  VM 2  |     |  |
|                                  | | GPU:1  |  | GPU:1  |     |  |
|                                  | +--------+  +--------+     |  |
|                                  +------------------------------+  |
+------------------------------------------------------------------+

+--------------------------------------------------+
| Kubernetes Cluster                                |
|                                                    |
| +--------+ +--------+ +--------+ +--------+      |
| | Win VM | | Win VM | | Win VM | | Win VM |      |
| | vGPU   | | vGPU   | | vGPU   | | vGPU   |      |
| +--------+ +--------+ +--------+ +--------+      |
|      |          |          |          |            |
|      +----------+----------+----------+            |
|                     |                              |
|              +------+------+                       |
|              | Physical GPU|                       |
|              | (A100/L40)  |                       |
|              +-------------+                       |
+--------------------------------------------------+

# GPUデバイス状態の確認
kubectl get node worker-gpu-01 -o json | jq '.status.allocatable'

# VFIOバインド状態の確認
kubectl logs -n gpu-operator -l app=nvidia-vfio-manager

# Sandbox Device Pluginログの確認
kubectl logs -n gpu-operator -l app=nvidia-sandbox-device-plugin