💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

원문 렌더가 준비되기 전까지 텍스트 가이드로 표시합니다.

1. GPU Operator 소개

1.1 GPU Operator란?

NVIDIA GPU Operator는 Kubernetes 클러스터에서 GPU를 활용하기 위해 필요한 **모든 소프트웨어 컴포넌트의 설치, 설정, 관리를 자동화**하는 Kubernetes Operator이다. Kubernetes의 Operator Framework를 기반으로, GPU 워크로드 실행에 필요한 드라이버, 런타임, 디바이스 플러그인, 모니터링 도구 등을 **Day-0 프로비저닝**부터 **Day-2 운영**까지 일관되게 관리한다.

전통적으로 Kubernetes에서 GPU를 사용하려면 다음과 같은 작업을 **각 노드마다 수동으로** 수행해야 했다:

1. NVIDIA 드라이버 설치 (커널 버전에 맞는 정확한 버전)

2. NVIDIA Container Toolkit 설치 및 Container Runtime 설정

3. NVIDIA Device Plugin 배포

4. 모니터링 도구 (DCGM Exporter) 설치

5. Node Feature Discovery 배포

GPU Operator는 이 모든 과정을 **ClusterPolicy**라는 단일 Custom Resource Definition(CRD)으로 선언적(declarative)으로 관리한다.

1.2 왜 GPU Operator가 필요한가?

수동 GPU 드라이버 설치 방식에는 다음과 같은 심각한 운영 문제가 있다:

| 문제점 | 수동 관리 | GPU Operator |

| ---------------------- | --------------------------------------- | ------------------------------- |

| **드라이버 설치** | 각 노드 SSH 접속 후 수동 설치 | DaemonSet으로 자동 배포 |

| **커널 업데이트 대응** | 커널 업데이트 시 드라이버 재컴파일 필요 | Pre-compiled 드라이버 자동 매칭 |

| **버전 일관성** | 노드별 드라이버 버전 불일치 위험 | ClusterPolicy로 버전 통일 |

| **신규 노드 추가** | 프로비저닝 스크립트 유지보수 필요 | 라벨 기반 자동 감지 및 설치 |

| **모니터링** | 별도 설정 필요 | DCGM Exporter 자동 배포 |

| **GPU 공유** | MIG/Time-Slicing 수동 설정 | ConfigMap 기반 선언적 설정 |

| **업그레이드** | 노드 드레인 후 수동 업데이트 | Rolling Update 지원 |

1.3 지원 환경

**지원 OS:**

| OS | 버전 |

| ------------------------ | ----------------------- |

| Ubuntu | 20.04, 22.04, 24.04 LTS |

| Red Hat Enterprise Linux | 8.x, 9.x |

| CentOS Stream | 8, 9 |

| Rocky Linux | 8.x, 9.x |

| SUSE Linux Enterprise | 15 SP4+ |

**지원 GPU:**

| GPU 세대 | 모델 예시 | MIG 지원 |

| ------------ | ------------------ | ------------- |

| Turing | T4, RTX 2080 | X |

| Ampere | A100, A30, A10, A2 | O (A100, A30) |

| Hopper | H100, H200 | O |

| Ada Lovelace | L40, L40S, L4 | X |

| Blackwell | B100, B200, GB200 | O |

**지원 Kubernetes 버전:** v1.25 이상 (권장: v1.28+)

**지원 Container Runtime:** containerd, CRI-O

1.4 아키텍처 개요

┌─────────────────────────────────────────────────────────────────────┐

│ Kubernetes Control Plane │

│ ┌──────────────────────────────────────────────────────────────┐ │

│ │ GPU Operator Controller │ │

│ │ (Deployment in gpu-operator namespace) │ │

│ │ │ │

│ │ ┌────────────────┐ ┌─────────────────────────────────┐ │ │

│ │ │ ClusterPolicy │───▶│ Reconciliation Loop │ │ │

│ │ │ (CRD) │ │ - Watch GPU Nodes │ │ │

│ │ └────────────────┘ │ - Deploy DaemonSets │ │ │

│ │ │ - Manage Lifecycle │ │ │

│ │ └─────────────────────────────────┘ │ │

│ └──────────────────────────────────────────────────────────────┘ │

└─────────────────────────────────────────────────────────────────────┘

│

┌──────────────┼──────────────┐

▼ ▼ ▼

┌──────────────────┐ ┌──────────────┐ ┌──────────────────┐

│ GPU Worker #1 │ │ GPU Worker #2│ │ GPU Worker #3 │

│ │ │ │ │ │

│ ┌──────────────┐ │ │ ┌──────────┐ │ │ ┌──────────────┐ │

│ │ NFD │ │ │ │ NFD │ │ │ │ NFD │ │

│ │ (Node Feature│ │ │ │ │ │ │ │ │ │

│ │ Discovery) │ │ │ └──────────┘ │ │ └──────────────┘ │

│ └──────────────┘ │ │ ┌──────────┐ │ │ ┌──────────────┐ │

│ ┌──────────────┐ │ │ │ GFD │ │ │ │ GFD │ │

│ │ GFD │ │ │ │ │ │ │ │ │ │

│ │ (GPU Feature │ │ │ └──────────┘ │ │ └──────────────┘ │

│ │ Discovery) │ │ │ ┌──────────┐ │ │ ┌──────────────┐ │

│ └──────────────┘ │ │ │ Driver │ │ │ │ Driver │ │

│ ┌──────────────┐ │ │ │ │ │ │ │ │ │

│ │ NVIDIA Driver│ │ │ └──────────┘ │ │ └──────────────┘ │

│ │ (DaemonSet) │ │ │ ┌──────────┐ │ │ ┌──────────────┐ │

│ └──────────────┘ │ │ │ Toolkit │ │ │ │ Toolkit │ │

│ ┌──────────────┐ │ │ │ │ │ │ │ │ │

│ │ Container │ │ │ └──────────┘ │ │ └──────────────┘ │

│ │ Toolkit │ │ │ ┌──────────┐ │ │ ┌──────────────┐ │

│ └──────────────┘ │ │ │ Device │ │ │ │ Device │ │

│ ┌──────────────┐ │ │ │ Plugin │ │ │ │ Plugin │ │

│ │ Device Plugin│ │ │ └──────────┘ │ │ └──────────────┘ │

│ └──────────────┘ │ │ ┌──────────┐ │ │ ┌──────────────┐ │

│ ┌──────────────┐ │ │ │ DCGM │ │ │ │ DCGM │ │

│ │ DCGM Exporter│ │ │ │ Exporter │ │ │ │ Exporter │ │

│ └──────────────┘ │ │ └──────────┘ │ │ └──────────────┘ │

│ ┌──────────────┐ │ │ ┌──────────┐ │ │ ┌──────────────┐ │

│ │ MIG Manager │ │ │ │ MIG Mgr │ │ │ │ MIG Manager │ │

│ └──────────────┘ │ │ └──────────┘ │ │ └──────────────┘ │

│ │ │ │ │ │

│ ╔════════════╗ │ │ ╔══════════╗ │ │ ╔════════════╗ │

│ ║ NVIDIA GPU ║ │ │ ║ NVIDIA ║ │ │ ║ NVIDIA GPU ║ │

│ ║ (A100) ║ │ │ ║ GPU(H100)║ │ │ ║ (T4) ║ │

│ ╚════════════╝ │ │ ╚══════════╝ │ │ ╚════════════╝ │

└──────────────────┘ └──────────────┘ └──────────────────┘

GPU Operator Controller는 ClusterPolicy CRD를 감시(watch)하며, GPU가 탑재된 워커 노드를 자동으로 감지하여 필요한 모든 컴포넌트를 DaemonSet 형태로 배포한다. 노드에 `feature.node.kubernetes.io/pci-10de.present=true` 라벨이 있으면 NVIDIA GPU가 존재하는 것으로 인식한다.

2. 7대 핵심 구성요소 상세 분석

GPU Operator는 GPU 워크로드 실행에 필요한 전체 소프트웨어 스택을 7개의 핵심 컴포넌트로 구성한다. 각 컴포넌트는 DaemonSet으로 배포되며, 서로 의존 관계를 가진다.

2.1 NVIDIA Driver (nvidia-driver-daemonset)

NVIDIA Driver DaemonSet은 GPU 하드웨어와 통신하기 위한 **커널 모듈(kernel module)**을 각 GPU 노드에 자동으로 설치한다. 이것은 GPU Operator의 가장 기초적이고 핵심적인 컴포넌트이다.

**주요 기능:**

- NVIDIA 커널 모듈 (`nvidia.ko`, `nvidia-modeset.ko`, `nvidia-uvm.ko`) 자동 빌드 및 로드

- 호스트 커널 버전에 맞는 드라이버 자동 매칭

- Pre-compiled 드라이버와 Run-compiled 드라이버 지원

- 드라이버 버전 관리 및 업그레이드

**Pre-compiled vs Run-compiled:**

| 특성 | Pre-compiled | Run-compiled |

| ------------------ | ------------------------------- | ------------------------------- |

| **빌드 시간** | 없음 (이미 빌드됨) | 노드에서 10-20분 소요 |

| **커널 호환성** | 특정 커널 버전에 매칭 | 모든 커널 버전 지원 |

| **노드 부팅 시간** | 빠름 | 느림 |

| **지원 OS** | Ubuntu (주로) | 대부분의 Linux |

| **설정** | `kernelModuleType: precompiled` | `kernelModuleType: runcompiled` |

**ClusterPolicy에서 Driver 설정 예시:**

apiVersion: nvidia.com/v1

kind: ClusterPolicy

metadata:

spec:

driver:

enabled: true

repository: nvcr.io/nvidia

image: driver

version: '560.35.03'

kernelModuleType: auto # auto | precompiled | runcompiled

manager:

env:

- name: ENABLE_AUTO_DRAIN

value: 'true'

rdma:

enabled: false

licensingConfig:

nlsEnabled: false

configMapName: ''

> **주의:** 호스트에 이미 NVIDIA 드라이버가 설치되어 있는 경우 `driver.enabled=false`로 설정해야 한다. 두 드라이버가 충돌하면 GPU가 정상 작동하지 않는다.

2.2 NVIDIA Container Toolkit (nvidia-container-toolkit)

NVIDIA Container Toolkit은 Container Runtime(containerd, CRI-O)이 **컨테이너 내부에서 GPU에 접근할 수 있도록** 연결하는 브릿지 역할을 한다.

**핵심 동작 원리:**

┌─────────────────────────────────────────────────────┐

│ Container Creation Flow │

│ │

│ kubelet │

│ │ │

│ ▼ │

│ containerd/CRI-O │

│ │ │

│ ▼ │

│ ┌─────────────────────────────────────┐ │

│ │ NVIDIA Container Runtime Hook │ │

│ │ (nvidia-container-runtime-hook) │ │

│ │ │ │

│ │ 1. OCI spec 수정 │ │

│ │ 2. GPU 디바이스 마운트 │ │

│ │ 3. NVIDIA 라이브러리 주입 │ │

│ │ 4. 환경변수 설정 │ │

│ └─────────────────────────────────────┘ │

│ │ │

│ ▼ │

│ ┌─────────────────────────────────────┐ │

│ │ libnvidia-container │ │

│ │ - GPU 디바이스 노드 바인딩 │ │

│ │ - CUDA 라이브러리 마운트 │ │

│ │ - Driver 라이브러리 마운트 │ │

│ └─────────────────────────────────────┘ │

│ │ │

│ ▼ │

│ Container (with GPU access) │

│ /dev/nvidia0, /dev/nvidiactl, ... │

└─────────────────────────────────────────────────────┘

**CDI (Container Device Interface) 지원:**

GPU Operator v25.x부터 CDI가 기본 활성화되어, 컨테이너 런타임이 GPU 디바이스를 표준화된 방식으로 인식한다. CDI는 OCI 런타임 hook 방식보다 더 안정적이고 예측 가능한 디바이스 할당을 제공한다.

spec:

toolkit:

enabled: true

version: v1.17.3-ubuntu22.04

cdi:

enabled: true # CDI 활성화 (기본값: true)

default: true # CDI를 기본 디바이스 할당 방식으로 사용

2.3 NVIDIA Device Plugin (nvidia-device-plugin)

NVIDIA Device Plugin은 kubelet에 **GPU를 Kubernetes Extended Resource로 등록**하는 역할을 한다. 이를 통해 Pod이 `nvidia.com/gpu` 리소스를 요청할 수 있게 된다.

**동작 흐름:**

1. Device Plugin이 kubelet의 Device Plugin gRPC 인터페이스에 등록

2. 노드에 있는 GPU 개수를 kubelet에 보고

3. Kubernetes Scheduler가 `nvidia.com/gpu` 리소스 요청이 있는 Pod을 해당 노드에 스케줄링

4. Pod 실행 시 Device Plugin이 할당할 GPU 디바이스 정보를 kubelet에 전달

**Pod에서 GPU 요청 예시:**

apiVersion: v1

kind: Pod

metadata:

spec:

restartPolicy: OnFailure

containers:

- name: cuda-test

image: nvcr.io/nvidia/cuda:12.6.0-base-ubuntu22.04

command: ['nvidia-smi']

resources:

limits:

nvidia.com/gpu: 1 # GPU 1개 요청

**Device Plugin이 관리하는 리소스 종류:**

| 리소스 이름 | 설명 | 사용 상황 |

| ------------------------ | --------------------------------- | ------------------------- |

| `nvidia.com/gpu` | 전체 GPU (또는 Time-Slicing 공유) | 기본 GPU 워크로드 |

| `nvidia.com/mig-1g.5gb` | MIG 1g.5gb 인스턴스 | A100 MIG 파티션 |

| `nvidia.com/mig-2g.10gb` | MIG 2g.10gb 인스턴스 | A100 MIG 파티션 |

| `nvidia.com/mig-3g.20gb` | MIG 3g.20gb 인스턴스 | A100 MIG 파티션 |

| `nvidia.com/mig-7g.40gb` | MIG 7g.40gb 인스턴스 | A100 전체 MIG |

| `nvidia.com/gpu.shared` | Time-Slicing 공유 GPU | renameByDefault 활성화 시 |

2.4 NVIDIA DCGM & DCGM Exporter

**DCGM (Data Center GPU Manager)**은 NVIDIA GPU의 상태와 성능을 모니터링하기 위한 도구이며, **DCGM Exporter**는 이 메트릭을 Prometheus 포맷으로 노출하는 Exporter이다.

**주요 수집 메트릭:**

| 메트릭 이름 | 설명 | 단위 |

| -------------------------------- | ----------------------------- | ----- |

| `DCGM_FI_DEV_GPU_UTIL` | GPU 코어 사용률 | % |

| `DCGM_FI_DEV_MEM_COPY_UTIL` | 메모리 대역폭 사용률 | % |

| `DCGM_FI_DEV_GPU_TEMP` | GPU 온도 | C |

| `DCGM_FI_DEV_POWER_USAGE` | 전력 소비량 | W |

| `DCGM_FI_DEV_FB_FREE` | 사용 가능한 프레임버퍼 메모리 | MiB |

| `DCGM_FI_DEV_FB_USED` | 사용 중인 프레임버퍼 메모리 | MiB |

| `DCGM_FI_DEV_SM_CLOCK` | SM 클럭 주파수 | MHz |

| `DCGM_FI_DEV_MEM_CLOCK` | 메모리 클럭 주파수 | MHz |

| `DCGM_FI_DEV_ENC_UTIL` | 인코더 사용률 | % |

| `DCGM_FI_DEV_DEC_UTIL` | 디코더 사용률 | % |

| `DCGM_FI_DEV_PCIE_TX_THROUGHPUT` | PCIe 송신 처리량 | KB/s |

| `DCGM_FI_DEV_PCIE_RX_THROUGHPUT` | PCIe 수신 처리량 | KB/s |

| `DCGM_FI_DEV_XID_ERRORS` | XID 에러 발생 횟수 | count |

| `DCGM_FI_DEV_ECC_SBE_VOL_TOTAL` | Single-bit ECC 에러 (일시적) | count |

| `DCGM_FI_DEV_ECC_DBE_VOL_TOTAL` | Double-bit ECC 에러 (영구적) | count |

**DCGM Exporter 아키텍처:**

┌──────────────┐ ┌───────────────┐ ┌──────────────┐

│ NVIDIA GPU │────▶│ DCGM Daemon │────▶│ DCGM Exporter│

│ (Hardware) │ │ (libdcgm.so) │ │ (:9400/metrics)

└──────────────┘ └───────────────┘ └──────┬───────┘

│

▼

┌──────────────┐

│ Prometheus │

│ (scrape) │

└──────┬───────┘

│

▼

┌──────────────┐

│ Grafana │

│ (Dashboard) │

└──────────────┘

**ClusterPolicy 설정:**

spec:

dcgm:

enabled: true # standalone DCGM daemon

dcgmExporter:

enabled: true

version: '3.3.9-3.6.1-ubuntu22.04'

config:

serviceMonitor:

enabled: true # Prometheus ServiceMonitor 자동 생성

interval: '15s'

honorLabels: false

additionalLabels:

monitoring: 'gpu'

2.5 NVIDIA MIG Manager

**MIG (Multi-Instance GPU) Manager**는 NVIDIA Ampere 이상 아키텍처의 GPU(A100, A30, H100 등)에서 하나의 물리 GPU를 **여러 개의 독립적인 GPU 인스턴스로 분할**하는 것을 관리한다.

MIG는 Time-Slicing과 달리 **하드웨어 수준의 메모리 격리와 연산 격리**를 제공한다. 각 MIG 인스턴스는 자체 메모리, 캐시, SM(Streaming Multiprocessor)을 가진다.

**A100 40GB MIG 프로파일:**

| ----------- | ------------ | ----------- | ---------------- |

| `1g.5gb` | 1/7 | 5 GB | 7 |

| `1g.5gb+me` | 1/7 | 5 GB (+MPS) | 1 |

| `1g.10gb` | 1/7 | 10 GB | 4 |

| `2g.10gb` | 2/7 | 10 GB | 3 |

| `3g.20gb` | 3/7 | 20 GB | 2 |

| `4g.20gb` | 4/7 | 20 GB | 1 |

| `7g.40gb` | 7/7 | 40 GB | 1 |

**H100 80GB MIG 프로파일:**

| --------- | ------------ | ------ | ---------------- |

| `1g.10gb` | 1/7 | 10 GB | 7 |

| `1g.20gb` | 1/7 | 20 GB | 4 |

| `2g.20gb` | 2/7 | 20 GB | 3 |

| `3g.40gb` | 3/7 | 40 GB | 2 |

| `4g.40gb` | 4/7 | 40 GB | 1 |

| `7g.80gb` | 7/7 | 80 GB | 1 |

**MIG Manager 동작 원리:**

1. 관리자가 노드에 `nvidia.com/mig.config=<profile>` 라벨 적용

2. MIG Manager가 라벨 변경 감지

3. 기존 GPU 워크로드 자동 종료 (drain)

4. `nvidia-smi mig` 명령으로 MIG 인스턴스 생성/삭제

5. Device Plugin이 새 MIG 인스턴스를 Kubernetes 리소스로 등록

6. 완료 후 `nvidia.com/mig.config.state=success` 라벨 업데이트

2.6 Node Feature Discovery (NFD)

**Node Feature Discovery (NFD)**는 Kubernetes 노드의 하드웨어 특성을 자동으로 감지하고 **노드 라벨로 등록**하는 컴포넌트이다. GPU Operator의 의존성으로, GPU 노드를 식별하는 데 핵심적인 역할을 한다.

**NFD가 생성하는 주요 라벨:**

| 라벨 | 설명 | 예시 값 |

| --------------------------------------------------------- | ----------------------------- | ------------------- |

| `feature.node.kubernetes.io/pci-10de.present` | NVIDIA PCI 디바이스 존재 여부 | `true` |

| `feature.node.kubernetes.io/cpu-cpuid.AVX512F` | CPU AVX-512 지원 | `true` |

| `feature.node.kubernetes.io/kernel-version.full` | 커널 버전 | `5.15.0-91-generic` |

| `feature.node.kubernetes.io/system-os_release.ID` | OS 종류 | `ubuntu` |

| `feature.node.kubernetes.io/system-os_release.VERSION_ID` | OS 버전 | `22.04` |

GPU Operator는 `feature.node.kubernetes.io/pci-10de.present=true` 라벨을 통해 NVIDIA GPU가 장착된 노드를 자동으로 식별하고, 해당 노드에만 GPU 관련 DaemonSet을 배포한다.

> **참고:** 클러스터에 이미 NFD가 설치되어 있다면 GPU Operator 설치 시 `nfd.enabled=false`로 설정하여 중복 배포를 방지해야 한다.

2.7 GPU Feature Discovery (GFD)

**GPU Feature Discovery (GFD)**는 NFD와 유사하지만, **GPU 전용 상세 정보**를 노드 라벨로 등록하는 역할을 한다. GFD는 NVIDIA Driver와 통신하여 GPU 모델, 드라이버 버전, CUDA 버전 등의 정보를 수집한다.

**GFD가 생성하는 주요 라벨:**

| 라벨 | 설명 | 예시 값 |

| ------------------------------- | ------------------------ | ----------------------- |

| `nvidia.com/gpu.product` | GPU 모델명 | `NVIDIA-A100-SXM4-40GB` |

| `nvidia.com/gpu.memory` | GPU 메모리 (MiB) | `40960` |

| `nvidia.com/gpu.count` | GPU 개수 | `4` |

| `nvidia.com/gpu.family` | GPU 아키텍처 패밀리 | `ampere` |

| `nvidia.com/gpu.compute.major` | Compute Capability Major | `8` |

| `nvidia.com/gpu.compute.minor` | Compute Capability Minor | `0` |

| `nvidia.com/cuda.driver.major` | CUDA 드라이버 Major 버전 | `12` |

| `nvidia.com/cuda.driver.minor` | CUDA 드라이버 Minor 버전 | `6` |

| `nvidia.com/cuda.runtime.major` | CUDA Runtime Major 버전 | `12` |

| `nvidia.com/cuda.runtime.minor` | CUDA Runtime Minor 버전 | `6` |

| `nvidia.com/mig.capable` | MIG 지원 여부 | `true` |

| `nvidia.com/gpu.replicas` | Time-Slicing 레플리카 수 | `4` |

| `nvidia.com/mig.strategy` | MIG 전략 | `single` |

**GFD 라벨 활용 - nodeSelector 예시:**

apiVersion: v1

kind: Pod

metadata:

spec:

nodeSelector:

nvidia.com/gpu.product: 'NVIDIA-A100-SXM4-40GB'

nvidia.com/gpu.memory: '40960'

containers:

- name: training

image: my-training:latest

resources:

limits:

nvidia.com/gpu: 4

2.8 컴포넌트 관계 다이어그램 및 요약

**컴포넌트 배포 순서 (의존성 체인):**

NFD (Node Feature Discovery)

└──▶ GPU Feature Discovery (GFD)

└──▶ NVIDIA Driver

└──▶ NVIDIA Container Toolkit

└──▶ NVIDIA Device Plugin

└──▶ DCGM / DCGM Exporter

└──▶ MIG Manager (MIG 지원 GPU만)

└──▶ Validator (검증)

**컴포넌트별 역할 요약 테이블:**

| ------------- | ------------------------------------ | -------------------------- | -------------- |

3. 설치 가이드 (Helm 기반)

3.1 사전 요구사항

3.1.1 하드웨어 요구사항

- NVIDIA GPU가 장착된 워커 노드 (Turing 아키텍처 이상 권장)

- PCIe 3.0 이상 슬롯

- IOMMU 지원 (KubeVirt GPU Passthrough 사용 시)

3.1.2 소프트웨어 요구사항

kubectl 및 helm 설치 확인

kubectl version --client

helm version

Kubernetes 클러스터 접근 확인

kubectl get nodes

Container Runtime 확인 (containerd 또는 CRI-O)

kubectl get nodes -o wide

3.1.3 Nouveau 드라이버 비활성화

GPU Operator의 Driver DaemonSet이 NVIDIA 드라이버를 로드하려면, 오픈소스 Nouveau 드라이버가 비활성화되어 있어야 한다.

nouveau 모듈 로드 여부 확인

lsmod | grep nouveau

nouveau 비활성화 (필요한 경우)

cat <<EOF | sudo tee /etc/modprobe.d/blacklist-nouveau.conf

blacklist nouveau

options nouveau modeset=0

EOF

initramfs 재생성

sudo update-initramfs -u

재부팅

sudo reboot

> **참고:** GPU Operator v25.x부터는 Driver DaemonSet이 Nouveau 모듈을 자동으로 언로드하려고 시도하지만, 일부 환경에서는 수동 비활성화가 필요할 수 있다.

3.1.4 Pod Security Admission 설정

GPU Operator는 privileged 권한이 필요한 컨테이너를 실행하므로, 네임스페이스에 적절한 PSA 라벨이 필요하다.

gpu-operator 네임스페이스에 PSA 라벨 설정

kubectl create namespace gpu-operator

kubectl label namespace gpu-operator \

pod-security.kubernetes.io/enforce=privileged

3.2 Helm Repo 추가 및 기본 설치

NVIDIA Helm repository 추가

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia

helm repo update

사용 가능한 버전 확인

helm search repo nvidia/gpu-operator --versions

기본 설치 (최신 버전)

helm install gpu-operator \

-n gpu-operator --create-namespace \

nvidia/gpu-operator \

--version=v25.10.1 \

--wait

**설치 확인:**

GPU Operator Pod 상태 확인

kubectl get pods -n gpu-operator

기대 출력 (정상 상태):

NAME READY STATUS RESTARTS AGE

gpu-operator-xxxxx 1/1 Running 0 5m

gpu-feature-discovery-xxxxx 1/1 Running 0 4m

nvidia-container-toolkit-daemonset-xxxxx 1/1 Running 0 4m

nvidia-cuda-validator-xxxxx 0/1 Completed 0 3m

nvidia-dcgm-exporter-xxxxx 1/1 Running 0 4m

nvidia-device-plugin-daemonset-xxxxx 1/1 Running 0 4m

nvidia-driver-daemonset-xxxxx 1/1 Running 0 4m

nvidia-operator-validator-xxxxx 1/1 Running 0 3m

node-feature-discovery-gc-xxxxx 1/1 Running 0 5m

node-feature-discovery-master-xxxxx 1/1 Running 0 5m

node-feature-discovery-worker-xxxxx 1/1 Running 0 5m

3.3 ClusterPolicy CRD 설정 상세

GPU Operator의 모든 설정은 **ClusterPolicy** CRD를 통해 관리된다. Helm chart의 `values.yaml`이 ClusterPolicy를 생성한다.

apiVersion: nvidia.com/v1

kind: ClusterPolicy

metadata:

spec:

─────────────────────────────────────────────────────

1. NVIDIA Driver 설정

─────────────────────────────────────────────────────

driver:

enabled: true

repository: nvcr.io/nvidia

image: driver

version: '560.35.03'

kernelModuleType: auto # auto | precompiled | runcompiled

manager:

env:

- name: ENABLE_AUTO_DRAIN

value: 'true'

- name: DRAIN_USE_FORCE

value: 'false'

- name: DRAIN_POD_SELECTOR_LABEL

value: ''

rdma:

enabled: false

useHostMofed: false

licensingConfig:

nlsEnabled: false

configMapName: ''

─────────────────────────────────────────────────────

2. NVIDIA Container Toolkit 설정

─────────────────────────────────────────────────────

toolkit:

enabled: true

version: v1.17.3-ubuntu22.04

env:

- name: CONTAINERD_CONFIG

value: /etc/containerd/config.toml

- name: CONTAINERD_SOCKET

value: /run/containerd/containerd.sock

─────────────────────────────────────────────────────

3. CDI (Container Device Interface) 설정

─────────────────────────────────────────────────────

cdi:

enabled: true

default: true

─────────────────────────────────────────────────────

4. Device Plugin 설정

─────────────────────────────────────────────────────

devicePlugin:

enabled: true

version: v0.17.0

config:

default: '' # 기본 설정 키

env:

- name: PASS_DEVICE_SPECS

value: 'true'

- name: DEVICE_LIST_STRATEGY

value: 'envvar'

─────────────────────────────────────────────────────

5. DCGM & DCGM Exporter 설정

─────────────────────────────────────────────────────

dcgm:

enabled: true

dcgmExporter:

enabled: true

version: '3.3.9-3.6.1-ubuntu22.04'

config:

serviceMonitor:

enabled: true

interval: '15s'

─────────────────────────────────────────────────────

6. MIG Manager 설정

─────────────────────────────────────────────────────

migManager:

enabled: true

env:

- name: WITH_REBOOT

value: 'false'

─────────────────────────────────────────────────────

7. MIG 전략 설정

─────────────────────────────────────────────────────

mig:

strategy: single # single | mixed

─────────────────────────────────────────────────────

8. Node Feature Discovery 설정

─────────────────────────────────────────────────────

nodeFeatureDiscovery:

enabled: true

─────────────────────────────────────────────────────

9. GPU Feature Discovery 설정

─────────────────────────────────────────────────────

gfd:

enabled: true

version: v0.17.0

─────────────────────────────────────────────────────

10. Sandbox Workloads (KubeVirt 연동)

─────────────────────────────────────────────────────

sandboxWorkloads:

enabled: false # KubeVirt 사용 시 true

defaultWorkload: container # container | vm-passthrough | vm-vgpu

─────────────────────────────────────────────────────

11. Validator 설정

─────────────────────────────────────────────────────

validator:

plugin:

env:

- name: WITH_WORKLOAD

value: 'true'

3.4 values.yaml 커스터마이징 예제

**프로덕션 환경 values.yaml 예시:**

production-values.yaml

드라이버가 호스트에 이미 설치된 경우

driver:

enabled: false

Container Toolkit

toolkit:

enabled: true

Device Plugin + Time-Slicing 설정

devicePlugin:

config:

default: 'tesla-t4'

DCGM Exporter + ServiceMonitor

dcgmExporter:

serviceMonitor:

enabled: true

interval: '15s'

additionalLabels:

release: prometheus

NFD가 이미 설치된 경우

nfd:

enabled: false

MIG 설정 (A100/H100 사용 시)

mig:

strategy: mixed

Node affinity - GPU 노드에만 배포

daemonsets:

tolerations:

- key: nvidia.com/gpu

operator: Exists

effect: NoSchedule

**설치 명령어:**

helm install gpu-operator \

-n gpu-operator --create-namespace \

nvidia/gpu-operator \

--version=v25.10.1 \

-f production-values.yaml \

--wait

3.5 에어갭(Air-gapped) 환경 설치

인터넷이 차단된 환경에서는 모든 컨테이너 이미지를 Private Registry로 미러링해야 한다.

1. 필요한 이미지 목록 확인

helm template gpu-operator nvidia/gpu-operator \

--version=v25.10.1 | grep "image:" | sort -u

2. 이미지 미러링 (예: Harbor)

PRIVATE_REGISTRY="harbor.internal.company.com/nvidia"

주요 이미지 목록

IMAGES=(

"nvcr.io/nvidia/driver:560.35.03-ubuntu22.04"

"nvcr.io/nvidia/k8s-device-plugin:v0.17.0"

"nvcr.io/nvidia/gpu-feature-discovery:v0.17.0"

"nvcr.io/nvidia/cloud-native/dcgm:3.3.9-1-ubuntu22.04"

"nvcr.io/nvidia/k8s/dcgm-exporter:3.3.9-3.6.1-ubuntu22.04"

"nvcr.io/nvidia/cloud-native/k8s-mig-manager:v0.9.0"

"nvcr.io/nvidia/k8s/container-toolkit:v1.17.3-ubuntu22.04"

"nvcr.io/nvidia/cloud-native/gpu-operator-validator:v25.10.1"

"registry.k8s.io/nfd/node-feature-discovery:v0.16.6"

)

for img in "${IMAGES[@]}"; do

이미지 이름 추출

name=$(echo $img | sed 's|.*/||')

docker pull $img

docker tag $img ${PRIVATE_REGISTRY}/${name}

docker push ${PRIVATE_REGISTRY}/${name}

done

3. Private Registry를 사용하는 values.yaml 생성

cat <<EOF > airgap-values.yaml

driver: