멀티 GPU·멀티노드 학습 플랫폼 총정리 — 프레임워크 지도부터 Slurm·Kubeflow 실전 가이드까지

층위               대표 주자                      한 줄 요약
────────────────  ────────────────────────────  ─────────────────────────────
기반 프레임워크     PyTorch 2.x                   사실상 표준. torch.compile로 컴파일 가속
                   JAX                           함수형+XLA. TPU·구글 계열 연구의 중심
모델·데이터 허브    HuggingFace Transformers      모델 정의의 공용어
                   Datasets / Tokenizers         데이터 로딩·토크나이즈 표준
파인튜닝 계층       PEFT (LoRA), TRL (SFT/DPO)    적은 자원으로 튜닝·정렬
                   Accelerate                    단일↔분산 코드를 같게 만드는 추상화
분산 학습 엔진      PyTorch DDP/FSDP              프레임워크 내장 병렬화
                   DeepSpeed (ZeRO)              메모리 최적화의 대명사
                   Megatron-LM                   TP/PP 포함 초대형 사전학습의 표준
오케스트레이션      Slurm                         HPC 클러스터의 왕
                   Kubeflow / Ray                쿠버네티스·파이썬 네이티브 진영
서빙(참고)         vLLM / SGLang / TensorRT-LLM  학습이 끝나면 이쪽 — 서빙 편 참조

# 단일 노드 8 GPU
torchrun --nproc_per_node=8 train.py

# 멀티 노드 (예: 2노드 × 8GPU = world size 16)
# 모든 노드에서 같은 명령 실행, node_rank만 다르게
torchrun \
  --nnodes=2 --nproc_per_node=8 --node_rank=0 \
  --rdzv_backend=c10d --rdzv_endpoint=10.0.0.1:29500 \
  train.py

# 클러스터 상태 훑기
sinfo                      # 파티션·노드 상태
squeue --me                # 내 잡 큐
scontrol show node node01  # 노드 상세

# 잡 던지기 3형제
sbatch job.sh              # 배치 제출 (표준)
srun --pty bash            # 인터랙티브 셸 (디버깅용)
salloc --gres=gpu:2        # 자원 선점 후 수동 실행

#!/bin/bash
#SBATCH --job-name=llm-train
#SBATCH --partition=gpu
#SBATCH --nodes=2                  # 노드 2대
#SBATCH --ntasks-per-node=1        # 노드당 torchrun 1개 (프로세스는 torchrun이 8개 생성)
#SBATCH --gres=gpu:8               # 노드당 GPU 8장
#SBATCH --cpus-per-task=64
#SBATCH --time=48:00:00
#SBATCH --output=logs/%x-%j.out    # %x=잡이름 %j=잡ID

# 랑데부 주소 = 첫 번째 노드
export MASTER_ADDR=$(scontrol show hostnames "$SLURM_JOB_NODELIST" | head -n 1)
export MASTER_PORT=29500

# 각 노드에서 torchrun 실행 — SLURM 변수로 배선 자동화
srun torchrun \
  --nnodes=$SLURM_JOB_NUM_NODES \
  --nproc_per_node=8 \
  --node_rank=$SLURM_NODEID \
  --rdzv_backend=c10d \
  --rdzv_endpoint=$MASTER_ADDR:$MASTER_PORT \
  train.py --config config.yaml

컴포넌트             역할                          꼭 필요한가
──────────────────  ───────────────────────────  ─────────────────
Training Operator    분산 학습 잡 CRD (핵심!)       ★ 이것만으로 시작 가능
Pipelines            ML 워크플로 DAG 오케스트레이션   파이프라인화 단계에서
Katib                하이퍼파라미터 튜닝·AutoML      필요할 때
Notebooks            클러스터 내 주피터 환경          편의 기능
KServe               모델 서빙 (별도 프로젝트화)      서빙 단계에서

apiVersion: kubeflow.org/v1
kind: PyTorchJob
metadata:
  name: llm-train
spec:
  nprocPerNode: "8"                # 노드(파드)당 프로세스 수 = GPU 수
  pytorchReplicaSpecs:
    Master:
      replicas: 1
      template:
        spec:
          containers:
            - name: pytorch
              image: my-registry/train:latest
              command: ["torchrun", "train.py"]
              resources:
                limits:
                  nvidia.com/gpu: 8
    Worker:
      replicas: 3                  # 마스터 1 + 워커 3 = 4노드
      template:
        spec:
          containers:
            - name: pytorch
              image: my-registry/train:latest
              command: ["torchrun", "train.py"]
              resources:
                limits:
                  nvidia.com/gpu: 8

상황                                        추천
─────────────────────────────────────────  ─────────────────────────
HPC 전통이 있는 조직, 베어메탈 GPU 팜         Slurm
이미 쿠버네티스로 모든 걸 운영               Kubeflow (Training Operator)
파이썬 코드 안에서 유연한 분산·서빙 통합       Ray (Train/Serve)
연구실 소규모, 노드 2~4대                    그냥 torchrun + pdsh/tmux도 충분
클라우드 매니지드 선호                        SageMaker/Vertex 등 (개념은 동일)