マルチGPU・マルチノード学習プラットフォーム総まとめ — フレームワークの地図からSlurm・Kubeflow実践ガイドまで

層                      代表プレイヤー                 一言まとめ
──────────────────────  ────────────────────────────  ─────────────────────────────
基盤フレームワーク      PyTorch 2.x                   事実上の標準。torch.compileでコンパイル加速
                        JAX                           関数型+XLA。TPU・Google系研究の中心
モデル・データハブ      HuggingFace Transformers      モデル定義の共通語
                        Datasets / Tokenizers         データロード・トークナイズの標準
ファインチューニング層  PEFT (LoRA), TRL (SFT/DPO)    少ないリソースでチューニング・アラインメント
                        Accelerate                    単一↔分散のコードを同じにする抽象化
分散学習エンジン        PyTorch DDP/FSDP              フレームワーク内蔵の並列化
                        DeepSpeed (ZeRO)              メモリ最適化の代名詞
                        Megatron-LM                   TP/PP込み、超大規模事前学習の標準
オーケストレーション    Slurm                         HPCクラスタの王
                        Kubeflow / Ray                Kubernetes・Pythonネイティブ陣営
サービング（参考）      vLLM / SGLang / TensorRT-LLM  学習が終わったらこちら — サービング編を参照

# 単一ノード 8 GPU
torchrun --nproc_per_node=8 train.py

# マルチノード（例：2ノード × 8GPU = world size 16）
# すべてのノードで同じコマンドを実行し、node_rankだけ変える
torchrun \
  --nnodes=2 --nproc_per_node=8 --node_rank=0 \
  --rdzv_backend=c10d --rdzv_endpoint=10.0.0.1:29500 \
  train.py

# クラスタの状態をざっと見る
sinfo                      # パーティション・ノードの状態
squeue --me                # 自分のジョブキュー
scontrol show node node01  # ノードの詳細

# ジョブ投入の3兄弟
sbatch job.sh              # バッチ投入（標準）
srun --pty bash            # インタラクティブシェル（デバッグ用）
salloc --gres=gpu:2        # リソースを先取りして手動実行

#!/bin/bash
#SBATCH --job-name=llm-train
#SBATCH --partition=gpu
#SBATCH --nodes=2                  # ノード2台
#SBATCH --ntasks-per-node=1        # ノードあたりtorchrun 1つ（プロセスはtorchrunが8つ生成）
#SBATCH --gres=gpu:8               # ノードあたりGPU 8枚
#SBATCH --cpus-per-task=64
#SBATCH --time=48:00:00
#SBATCH --output=logs/%x-%j.out    # %x=ジョブ名 %j=ジョブID

# ランデブーのアドレス = 最初のノード
export MASTER_ADDR=$(scontrol show hostnames "$SLURM_JOB_NODELIST" | head -n 1)
export MASTER_PORT=29500

# 各ノードでtorchrunを実行 — SLURM変数で配線を自動化
srun torchrun \
  --nnodes=$SLURM_JOB_NUM_NODES \
  --nproc_per_node=8 \
  --node_rank=$SLURM_NODEID \
  --rdzv_backend=c10d \
  --rdzv_endpoint=$MASTER_ADDR:$MASTER_PORT \
  train.py --config config.yaml

コンポーネント     役割                                       必須か？
─────────────────  ─────────────────────────────────────────  ────────────────────────
Training Operator  分散学習ジョブのCRD（核心！）              ★ これだけで始められる
Pipelines          MLワークフローのDAGオーケストレーション    パイプライン化の段階で
Katib              ハイパーパラメータチューニング・AutoML     必要になったら
Notebooks          クラスタ内のJupyter環境                    便利機能
KServe             モデルサービング（別プロジェクト化）       サービング段階で

apiVersion: kubeflow.org/v1
kind: PyTorchJob
metadata:
  name: llm-train
spec:
  nprocPerNode: "8"                # ノード（Pod）あたりのプロセス数 = GPU枚数
  pytorchReplicaSpecs:
    Master:
      replicas: 1
      template:
        spec:
          containers:
            - name: pytorch
              image: my-registry/train:latest
              command: ["torchrun", "train.py"]
              resources:
                limits:
                  nvidia.com/gpu: 8
    Worker:
      replicas: 3                  # マスター1 + ワーカー3 = 4ノード
      template:
        spec:
          containers:
            - name: pytorch
              image: my-registry/train:latest
              command: ["torchrun", "train.py"]
              resources:
                limits:
                  nvidia.com/gpu: 8

状況                                        おすすめ
──────────────────────────────────────────  ─────────────────────────
HPCの伝統がある組織、ベアメタルGPUファーム  Slurm
すでにKubernetesですべてを運用              Kubeflow (Training Operator)
Pythonコード内で柔軟に分散・サービング統合  Ray (Train/Serve)
研究室の小規模、ノード2〜4台                素のtorchrun + pdsh/tmuxで十分
クラウドマネージド志向                      SageMaker/Vertexなど（概念は同じ）