https://www.youngju.dev/blog 천천히 올바르게. AI Researcher & DevOps Engineer Youngju's blog. GPU/CUDA, LLM, MLOps, Kubernetes AI workloads, and data engineering — plus mindset essays on confidence, routines, health, and sport psychology. ko fjvbn2003@gmail.com (Youngju Kim) fjvbn2003@gmail.com (Youngju Kim) Wed, 12 Aug 2026 00:00:00 GMT https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-dcgm-exporter.en https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-dcgm-exporter.en DCGM Exporter is the standard path for exposing GPU telemetry in Prometheus format, but the utilization-style metric that ends up on nearly every dashboard does not measure what people expect. This post reads the default counters CSV in the dcgm-exporter repository, the official DCGM documentation, and the NVML API reference directly to lay out which metrics are enabled by default, what the utilization metric actually reports, which profiling metrics you must look at alongside it, and how to configure custom metric CSVs and pod labels, with the exact field names throughout. Fourth post in the Kubernetes GPU operations and observability series. Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetesdcgmprometheusobservabilitynvidia https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-dcgm-exporter.ja https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-dcgm-exporter.ja DCGM ExporterはGPUテレメトリをPrometheus形式で公開する標準経路ですが、最も多くダッシュボードに載るGPU利用率系のメトリクスは、人々が期待するものを測っていません。本記事ではdcgm-exporterリポジトリの既定カウンタCSV、DCGM公式ドキュメント、NVML APIドキュメントを直接読み、既定で有効なメトリクス一覧、利用率メトリクスが実際に何を意味するのか、併せて見るべきプロファイリングメトリクスは何か、カスタムメトリクスCSVとPodラベルの設定方法を、正確なフィールド名とともに整理します。Kubernetes GPU運用・可観測性シリーズの第四回です。 Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetesdcgmprometheusobservabilitynvidia https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-dcgm-exporter https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-dcgm-exporter DCGM Exporter는 GPU 텔레메트리를 프로메테우스 형식으로 노출하는 표준 경로지만, 가장 많이 대시보드에 올라가는 GPU 이용률 계열 메트릭은 사람들이 기대하는 것을 재지 않습니다. 이 글은 dcgm-exporter 저장소의 기본 카운터 CSV와 DCGM 공식 문서, NVML API 문서를 직접 읽고 기본으로 켜져 있는 메트릭 목록, 이용률 메트릭이 실제로 무엇을 뜻하는지, 함께 봐야 할 프로파일링 메트릭이 무엇인지, 커스텀 메트릭 CSV와 파드 라벨 설정을 어떻게 하는지를 정확한 필드 이름과 함께 정리합니다. 쿠버네티스 GPU 운영·관측 시리즈의 네 번째 글입니다. Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetesdcgmprometheusobservabilitynvidia https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-gpu-operator-intro.en https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-gpu-operator-intro.en Running GPUs on Kubernetes used to mean matching six pieces on every node by hand: the driver, the NVIDIA Container Toolkit, the device plugin, DCGM, GPU Feature Discovery, and Node Feature Discovery. The NVIDIA GPU Operator folds those into one controller whose desired state lives in a single ClusterPolicy. This post covers what each component actually does, which Helm values switch which piece on and off, and what to check before you install, written from a direct reading of the official docs and the chart values.yaml. First post in the Kubernetes GPU operations and observability series. Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetesgpu-operatornvidiadcgmobservability https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-gpu-operator-intro.ja https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-gpu-operator-intro.ja KubernetesでGPUを使うには、ドライバ、NVIDIA Container Toolkit、デバイスプラグイン、DCGM、GPU Feature Discovery、Node Feature Discoveryをノードごとに手で揃える必要がありました。NVIDIA GPU Operatorはそれらを一つのオペレータにまとめ、ClusterPolicy一つで望ましい状態を管理します。各コンポーネントが実際に何をするのか、Helmチャートのどの値が何を有効化するのか、インストール前に何を確認すべきかを、公式ドキュメントとリポジトリのvalues.yamlを直接読んで整理しました。Kubernetes GPU運用・可観測性シリーズの第一回です。 Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetesgpu-operatornvidiadcgmobservability https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-gpu-operator-intro https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-gpu-operator-intro 쿠버네티스에서 GPU를 쓰려면 드라이버, NVIDIA Container Toolkit, 디바이스 플러그인, DCGM, GPU Feature Discovery, Node Feature Discovery를 노드마다 손으로 맞춰야 했습니다. NVIDIA GPU Operator는 이 조각들을 하나의 오퍼레이터로 묶고 ClusterPolicy 하나로 상태를 관리합니다. 각 컴포넌트가 정확히 무엇을 하는지, Helm 차트의 어떤 값이 무엇을 켜고 끄는지, 설치 전에 확인해야 할 것이 무엇인지를 공식 문서와 저장소의 values.yaml을 직접 읽어 정리했습니다. 쿠버네티스 GPU 운영·관측 시리즈의 첫 번째 글입니다. Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetesgpu-operatornvidiadcgmobservability https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-troubleshooting.en https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-troubleshooting.en The biggest waste in diagnosing GPU problems on Kubernetes is poking around without an order. A pod that will not schedule, a pod that runs but cannot see the GPU, a driver and toolkit version mismatch, memory exhaustion, and GPUs disappearing from a node are problems in different layers, and each has its own check order. This post uses the official NVIDIA GPU Operator troubleshooting documentation and the dcgm-exporter repository to lay out five layers, the commands to actually run at each, and which metric constitutes evidence at that layer. Final post in the Kubernetes GPU operations and observability series. Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetestroubleshootingnvidiagpu-operatordcgm https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-troubleshooting.ja https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-troubleshooting.ja KubernetesでGPUの問題を診断するとき最大の無駄は、順序なくあちこち突くことです。Podがスケジュールされない、Podは起動したのにGPUが見えない、ドライバとツールキットのバージョンがずれている、メモリが足りない、ノードからGPUが消える、これらは別の層の問題であり確認順序が異なります。本記事ではNVIDIA GPU Operatorの公式トラブルシューティングドキュメントとdcgm-exporterリポジトリを根拠に、五つの層の確認順序、各層で実際に実行するコマンド、そしてどのメトリクスがその層の証拠になるのかを整理します。Kubernetes GPU運用・可観測性シリーズの最終回です。 Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetestroubleshootingnvidiagpu-operatordcgm https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-troubleshooting https://www.youngju.dev/blog/gpu-cuda/2026-08-12-gpuops-troubleshooting 쿠버네티스에서 GPU 문제를 진단할 때 가장 큰 낭비는 순서 없이 아무 데나 찔러 보는 것입니다. 파드가 스케줄되지 않는 것, 파드는 떴는데 GPU가 안 보이는 것, 드라이버와 툴킷 버전이 어긋난 것, 메모리가 부족한 것, 노드에서 GPU가 사라지는 것은 서로 다른 계층의 문제라 확인 순서가 다릅니다. 이 글은 NVIDIA GPU Operator 공식 트러블슈팅 문서와 dcgm-exporter 저장소를 근거로 다섯 계층의 확인 순서와 각 계층에서 실제로 실행할 명령, 그리고 어떤 메트릭이 그 계층의 증거인지를 정리합니다. 쿠버네티스 GPU 운영·관측 시리즈의 마지막 글입니다. Wed, 12 Aug 2026 00:00:00 GMT fjvbn2003@gmail.com (Youngju Kim) gpukubernetestroubleshootingnvidiagpu-operatordcgm