[가상화] 08. KubeVirt + GPU: VM에서 GPU 가속 활용하기

# 노드를 VM 패스스루 모드로 설정
kubectl label node worker-gpu-01 \
  nvidia.com/gpu.workload.config=vm-passthrough --overwrite

# 노드를 vGPU 모드로 설정
kubectl label node worker-gpu-01 \
  nvidia.com/gpu.workload.config=vm-vgpu --overwrite

# 기본 컨테이너 모드로 복원
kubectl label node worker-gpu-01 \
  nvidia.com/gpu.workload.config=container --overwrite

노드 레이블 변경
      |
      v
GPU Operator 감지
      |
      v
기존 GPU 소프트웨어 스택 정리
      |
      v
새 모드에 맞는 컴포넌트 배포
      |
      +-- container: Driver + Toolkit + Device Plugin
      |
      +-- vm-passthrough: VFIO Manager + Sandbox Device Plugin
      |
      +-- vm-vgpu: vGPU Manager + Sandbox Device Plugin

# Intel CPU의 경우 커널 파라미터 추가
# GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt"

# AMD CPU의 경우
# GRUB_CMDLINE_LINUX="amd_iommu=on iommu=pt"

# GRUB 업데이트 후 재부팅
sudo update-grub
sudo reboot

# IOMMU 활성화 확인
dmesg | grep -i iommu
# 출력: DMAR: IOMMU enabled

+------------------------------------------+
|            Worker Node                    |
|  +------------------------------------+  |
|  | VFIO Manager (DaemonSet)           |  |
|  |                                    |  |
|  |  1. vfio-pci 커널 모듈 로드         |  |
|  |  2. GPU를 호스트 드라이버에서 언바인드 |  |
|  |  3. GPU를 vfio-pci에 바인드          |  |
|  |                                    |  |
|  +------------------------------------+  |
|                                          |
|  GPU 상태:                                |
|  nvidia 드라이버 --> vfio-pci 드라이버     |
+------------------------------------------+

+------------------------------------------+
| Sandbox Device Plugin (DaemonSet)        |
|                                          |
| 1. VFIO에 바인드된 GPU 디바이스 검색       |
| 2. nvidia.com/gpu 리소스로 kubelet에 등록 |
| 3. KubeVirt VM이 GPU를 요청 가능          |
+------------------------------------------+

+------------------------------------------+
|            Worker Node                    |
|  +------------------------------------+  |
|  | vGPU Manager (DaemonSet)           |  |
|  |                                    |  |
|  |  - vGPU 호스트 드라이버 설치         |  |
|  |  - Mediated Device 또는 SR-IOV VF   |  |
|  |    생성                             |  |
|  +------------------------------------+  |
|                                          |
|  +------------------------------------+  |
|  | Sandbox Device Plugin              |  |
|  |  - vGPU 디바이스 검색               |  |
|  |  - nvidia.com/VGPU_TYPE으로 등록    |  |
|  +------------------------------------+  |
+------------------------------------------+

apiVersion: kubevirt.io/v1
kind: KubeVirt
metadata:
  name: kubevirt
  namespace: kubevirt
spec:
  configuration:
    permittedHostDevices:
      pciHostDevices:
        - pciVendorSelector: '10DE:20B5'
          resourceName: 'nvidia.com/gpu'
          externalResourceProvider: true
      mediatedDevices:
        - mdevNameSelector: 'NVIDIA A100-1-5C'
          resourceName: 'nvidia.com/NVIDIA_A100-1-5C'

# GPU PCI ID 확인
lspci -nn | grep NVIDIA
# 출력: 3b:00.0 3D controller [0302]: NVIDIA Corporation A100 [10DE:20B5]

apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
  name: gpu-passthrough-vm
spec:
  running: true
  template:
    metadata:
      labels:
        app: gpu-vm
    spec:
      domain:
        cpu:
          cores: 8
        memory:
          guest: 32Gi
        devices:
          disks:
            - name: rootdisk
              disk:
                bus: virtio
          gpus:
            - name: gpu1
              deviceName: nvidia.com/gpu
          interfaces:
            - name: default
              masquerade: {}
      networks:
        - name: default
          pod: {}
      volumes:
        - name: rootdisk
          dataVolume:
            name: ubuntu-gpu-dv

apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
  name: vgpu-vm
spec:
  running: true
  template:
    spec:
      domain:
        cpu:
          cores: 4
        memory:
          guest: 16Gi
        devices:
          disks:
            - name: rootdisk
              disk:
                bus: virtio
          gpus:
            - name: vgpu1
              deviceName: nvidia.com/NVIDIA_A100-1-5C
          interfaces:
            - name: default
              masquerade: {}
      networks:
        - name: default
          pod: {}
      volumes:
        - name: rootdisk
          dataVolume:
            name: ubuntu-vgpu-dv

# VM 콘솔에 접속
virtctl console gpu-passthrough-vm

# NVIDIA 드라이버 설치 (Ubuntu)
sudo apt-get update
sudo apt-get install -y linux-headers-$(uname -r)

# NVIDIA 드라이버 리포지토리 추가
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

# 드라이버 설치
sudo apt-get install -y nvidia-driver-550

# 재부팅 후 확인
sudo reboot
nvidia-smi

1. NVIDIA 공식 사이트에서 드라이버 다운로드
   - 패스스루: 일반 GPU 드라이버
   - vGPU: NVIDIA vGPU 게스트 드라이버

2. RDP 또는 VNC로 Windows VM에 접속

3. 드라이버 설치 프로그램 실행

4. 재부팅 후 Device Manager에서 GPU 확인

+------------------------------------------------------------------+
|                    Kubernetes Cluster                              |
|                                                                    |
|  +---------------------------+  +------------------------------+  |
|  | Container Node            |  | GPU Node (vm-passthrough)    |  |
|  | gpu.workload.config:      |  | gpu.workload.config:         |  |
|  |   container               |  |   vm-passthrough             |  |
|  |                           |  |                              |  |
|  | +-------+ +-------+      |  | +-------------------------+  |  |
|  | | Pod   | | Pod   |      |  | | VFIO Manager            |  |  |
|  | | GPU:1 | | GPU:1 |      |  | | (vfio-pci bind)         |  |  |
|  | +-------+ +-------+      |  | +-------------------------+  |  |
|  |                           |  |                              |  |
|  | NVIDIA Driver             |  | +-------------------------+  |  |
|  | Container Toolkit         |  | | Sandbox Device Plugin   |  |  |
|  | Device Plugin             |  | +-------------------------+  |  |
|  +---------------------------+  |                              |  |
|                                  | +--------+  +--------+     |  |
|                                  | |  VM 1  |  |  VM 2  |     |  |
|                                  | | GPU:1  |  | GPU:1  |     |  |
|                                  | +--------+  +--------+     |  |
|                                  +------------------------------+  |
+------------------------------------------------------------------+

+--------------------------------------------------+
| Kubernetes Cluster                                |
|                                                    |
| +--------+ +--------+ +--------+ +--------+      |
| | Win VM | | Win VM | | Win VM | | Win VM |      |
| | vGPU   | | vGPU   | | vGPU   | | vGPU   |      |
| +--------+ +--------+ +--------+ +--------+      |
|      |          |          |          |            |
|      +----------+----------+----------+            |
|                     |                              |
|              +------+------+                       |
|              | Physical GPU|                       |
|              | (A100/L40)  |                       |
|              +-------------+                       |
+--------------------------------------------------+

# GPU 디바이스 상태 확인
kubectl get node worker-gpu-01 -o json | jq '.status.allocatable'

# VFIO 바인드 상태 확인
kubectl logs -n gpu-operator -l app=nvidia-vfio-manager

# Sandbox Device Plugin 로그 확인
kubectl logs -n gpu-operator -l app=nvidia-sandbox-device-plugin