[仮想化] 04. GPU仮想化技術総まとめ: Passthrough、vGPU、MIG、SR-IOV

[GPU仮想化技術スペクトラム]

独占割当 <-----------------------------------> 最大共有

GPU Passthrough    vGPU (SR-IOV)    MIG    vGPU (mdev)    Time-Slicing
 (1 GPU : 1 VM)   (HWパーティション) (空間分割) (SWタイムスライス) (K8s共有)

+------------------+     +------------------+
|    VM 1          |     |    VM 2          |
|  GPU Driver      |     |  GPU Driver      |
|  (Full Access)   |     |  (Full Access)   |
+--------+---------+     +--------+---------+
         |                         |
    IOMMU/VT-d                IOMMU/VT-d
         |                         |
+--------+---------+     +--------+---------+
|  Physical GPU 1  |     |  Physical GPU 2  |
|  (Exclusive)     |     |  (Exclusive)     |
+------------------+     +------------------+

# 1. BIOSでVT-d/AMD-Vi（IOMMU）を有効化

# 2. ブートパラメータにIOMMUを追加
# /etc/default/grub:
# GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt"

# 3. IOMMUグループの確認
find /sys/kernel/iommu_groups/ -type l | sort -V

# 4. GPUをvfio-pciドライバにバインド
# /etc/modprobe.d/vfio.conf:
# options vfio-pci ids=10de:2484,10de:228b

# 5. initramfsの再生成
update-initramfs -u

# 6. 再起動後に確認
lspci -nnk -s 01:00.0
# Kernel driver in use: vfio-pci

+--------+ +--------+ +--------+ +--------+
| VM 1   | | VM 2   | | VM 3   | | VM 4   |
| vGPU   | | vGPU   | | vGPU   | | vGPU   |
| 4GB    | | 4GB    | | 4GB    | | 4GB    |
+--------+ +--------+ +--------+ +--------+
|            vGPU Manager                  |
|        (Hypervisor Module)               |
+------------------------------------------+
|          Physical GPU (16GB)             |
|        (NVIDIA A100/L40S/etc.)          |
+------------------------------------------+

[ソフトウェアタイムスライシング]

時間 -->  |  VM1  |  VM2  |  VM3  |  VM1  |  VM2  |  VM3  |
          +-------+-------+-------+-------+-------+-------+
GPU全体    使用    使用    使用    使用    使用    使用

- GPU全体を時分割で共有
- vGPU Managerがコンテキストスイッチを管理
- VRAMは静的にパーティショニング
- 演算リソースは時間ベースで共有

[ハードウェアパーティショニング - SR-IOV]

+-------------------------------------------+
| Physical Function (PF)                     |
| - GPU管理、設定                            |
+-------------------------------------------+
| VF 0        | VF 1        | VF 2          |
| (VM 1)      | (VM 2)      | (VM 3)        |
| 独立キュー   | 独立キュー   | 独立キュー    |
| 独立割込み   | 独立割込み   | 独立割込み    |
+-------------------------------------------+
|          Physical GPU (PCIe)              |
+-------------------------------------------+

- PF (Physical Function): ホストが管理
- VF (Virtual Function): 各VMに直接割り当て
- IOMMUがVF間のメモリ分離を保証
- ハードウェアレベルの分離でより安定

[NVIDIA A100 vGPUプロファイル例]

GPU: NVIDIA A100 40GB

プロファイル      VRAM    最大インスタンス
A100-1-5C         5GB      7
A100-2-10C       10GB      4
A100-4-20C       20GB      2
A100-8-40C       40GB      1
A100-1-5CME       5GB      7  (MIG-backed)
A100-2-10CME     10GB      4  (MIG-backed)

[MIGアーキテクチャ - A100例]

+-----------------------------------------------------------+
|                    NVIDIA A100 (80GB)                       |
+-----------------------------------------------------------+
| GPC 0-1  | GPC 2-3  | GPC 4   | GPC 5   | GPC 6          |
| MIG 1    | MIG 2    | MIG 3   | MIG 4   | MIG 5          |
| 2g.20gb  | 2g.20gb  | 1g.10gb | 1g.10gb | 1g.10gb        |
+----------+----------+---------+---------+-----------------+
| Memory   | Memory   | Memory  | Memory  | Memory          |
| Ctrl 0-1 | Ctrl 2-3 | Ctrl 4  | Ctrl 5  | Ctrl 6          |
| 20GB HBM | 20GB HBM | 10GB HBM| 10GB HBM| 10GB HBM       |
+----------+----------+---------+---------+-----------------+
| L2 Cache | L2 Cache | L2 $    | L2 $    | L2 $            |
| Slice 0-1| Slice 2-3| Slice 4 | Slice 5 | Slice 6         |
+-----------------------------------------------------------+

# MIGモード有効化（再起動必要）
sudo nvidia-smi -i 0 --mig 1

# 再起動後、MIGインスタンスを作成
# プロファイル一覧確認
nvidia-smi mig -lgip

# 3g.40gbインスタンスを2つ作成（A100 80GB基準）
sudo nvidia-smi mig -cgi 9,9 -C

# 作成されたインスタンスの確認
nvidia-smi mig -lgi
nvidia-smi mig -lci

# MIGインスタンスの削除
sudo nvidia-smi mig -dci
sudo nvidia-smi mig -dgi

# MIGモード無効化（再起動必要）
sudo nvidia-smi -i 0 --mig 0

+--------+ +--------+ +--------+
| VM 1   | | VM 2   | | VM 3   |
| vGPU   | | vGPU   | | vGPU   |
+--------+ +--------+ +--------+
| vGPU Manager                  |
+------+-------+-------+-------+
| MIG 1| MIG 2 | MIG 3 | MIG 4 |  <-- ハードウェア分離
+------+-------+-------+-------+
|        Physical GPU           |
+-------------------------------+

- MIGスライス間: ハードウェア分離
- 同じMIG内の複数vGPU: タイムスライシング

[SR-IOV構造]

PCIe Bus
    |
+---+---+---+---+---+---+
| PF    | VF 0 | VF 1 | VF 2 |
| (Host)| (VM1)| (VM2)| (VM3)|
+-------+------+------+------+
|          Physical GPU       |
+-----------------------------+

PF = Physical Function (ホスト管理)
VF = Virtual Function (VMに直接割当)

[K8s GPU Time-Slicing]

+---Pod A---+ +---Pod B---+ +---Pod C---+
|  Process  | |  Process  | |  Process  |
|  CUDA     | |  CUDA     | |  CUDA     |
+-----------+ +-----------+ +-----------+
|    NVIDIA Device Plugin (time-slicing)  |
+-----------------------------------------+
|          Physical GPU                   |
|     (全プロセスが共有)                  |
+-----------------------------------------+

- NVIDIA GPU OperatorのTimeSlicing設定
- ハードウェア分離なし
- メモリ空間共有（OOM可能）
- MPS（Multi-Process Service）オプションでパフォーマンス改善可能

# NVIDIA GPU Operator ConfigMap例
# time-slicing-config
apiVersion: v1
kind: ConfigMap
metadata:
  name: time-slicing-config
data:
  any: |-
    version: v1
    flags:
      migStrategy: none
    sharing:
      timeSlicing:
        renameByDefault: false
        failRequestsGreaterThanOne: false
        resources:
          - name: nvidia.com/gpu
            replicas: 4

[GPU仮想化方式選択フローチャート]

開始: GPUを共有する必要がありますか？
  |
  +-- いいえ --> GPU Passthrough
  |              (最高パフォーマンス、1:1割当)
  |
  +-- はい --> ハードウェア分離が必要ですか？
               |
               +-- いいえ --> Kubernetesですか？
               |               |
               |               +-- はい --> Time-Slicing
               |               |          (最もシンプル)
               |               |
               |               +-- いいえ --> vGPU (mdev)
               |                              (VMベース共有)
               |
               +-- はい --> A100/H100等MIG対応GPUですか？
                           |
                           +-- はい --> MIG or MIG-backed vGPU
                           |          (最高レベルの分離)
                           |
                           +-- いいえ --> vGPU (SR-IOV)
                                          (Ampere+ HWパーティショニング)