WEKA高性能ストレージ完全ガイド2025：AI/HPC向け並列ファイルシステム

一般的なAIトレーニングパイプライン：

[ストレージ] --読込--> [CPU: 前処理] --転送--> [GPU: トレーニング]
    ^                    ^                      ^
    |                    |                      |
  ボトルネック1:        ボトルネック2:           実際の演算:
  I/O待ち              データ変換              GPU活用
  (30-50% 時間)        (10-20% 時間)          (30-60% 時間)

NFS (Network File System) の限界：
- 単一サーバーボトルネック（スケールアップのみ）
- メタデータ性能の制限
- 小ファイルI/Oの非効率
- 数百クライアント以上のスケーリングが困難

SAN/ブロックストレージの限界：
- 共有ファイルシステムではない（単一マウント）
- 管理の複雑さ
- 高コスト

一般的な分散ストレージの限界：
- レイテンシが高い（Ceph: 1-5ms）
- AIワークロードに最適化されていない
- GPU Direct Storage未対応

一般的なNFS：
Client -> [NFS Server] -> [Disk]
                          （単一経路）

並列ファイルシステム：
Client -> [Node 1] -> [Disk 1]  （同時アクセス）
       -> [Node 2] -> [Disk 2]  （同時アクセス）
       -> [Node 3] -> [Disk 3]  （同時アクセス）
       -> [Node N] -> [Disk N]  （同時アクセス）

  スループット = ノード数 x ノードあたりスループット

+------------------------------------------------------------+
|                    WEKA Cluster                              |
|                                                              |
|  +------------------+  +------------------+                  |
|  | Backend Server 1 |  | Backend Server 2 |  ...            |
|  | +----+ +----+    |  | +----+ +----+    |                 |
|  | |NVMe| |NVMe|    |  | |NVMe| |NVMe|    |                 |
|  | +----+ +----+    |  | +----+ +----+    |                 |
|  | DPDK Networking   |  | DPDK Networking   |                |
|  +------------------+  +------------------+                  |
|                                                              |
|  Distributed Metadata（全ノードに分散）                        |
|  Erasure Coding Engine (N+2 or N+4)                          |
|  Inline Dedup + Compression                                  |
|                                                              |
|  +------------------+  +------------------+                  |
|  | Frontend Client 1|  | Frontend Client 2|  ...            |
|  | (Compute Node)   |  | (Compute Node)   |                 |
|  | GPU GPU GPU GPU   |  | GPU GPU GPU GPU   |                |
|  +------------------+  +------------------+                  |
+------------------------------------------------------------+

レプリケーション方式（3重複製）：
  Data -> Copy1, Copy2, Copy3
  オーバーヘッド: 200%（1TBデータ = 3TB消費）

イレージャーコーディング (N+2)：
  Data -> Stripe1, Stripe2, ..., StripeN, Parity1, Parity2
  オーバーヘッド: 約29%（N=7の場合、7+2=9、2/7=28.6%）
  最大2ノード同時障害を許容

イレージャーコーディング (N+4)：
  オーバーヘッド: 約57%（N=7の場合、7+4=11、4/7=57.1%）
  最大4ノード同時障害を許容

従来のストレージI/Oパス：
Application -> VFS -> Filesystem -> Block Layer -> Device Driver -> NVMe
  （多数のカーネルコンテキストスイッチ、割り込み、コピー）

WEKA I/Oパス (DPDK)：
Application -> WEKA Client (userspace) -> DPDK -> NVMe
  （カーネルバイパス、ポーリングモード、ゼロコピー）

+------------------------------------------------------------+
|  Hot Tier (NVMe)        Warm Tier         Cold Tier         |
|  +-----------------+  +-----------+  +------------------+   |
|  | Active Training |  | Recent    |  | S3 / Azure Blob  |   |
|  | Data            |  | Experiments|  | / GCS            |   |
|  | (Fast Access)   |  | (SSD)     |  | (Archived)       |   |
|  +-----------------+  +-----------+  +------------------+   |
|         ^                  ^                   ^            |
|         |                  |                   |            |
|    自動ティアリングポリシー: アクセス時間、サイズ、経過期間         |
+------------------------------------------------------------+

# バックエンドサーバー状態確認
weka cluster host
weka status

# ノード詳細情報
weka cluster host -v

# WEKAファイルシステムのマウント
mount -t wekafs backend-host/fs-name /mnt/weka

# またはPOSIXマウント
weka local mount fs-name /mnt/weka

# マウント状態確認
weka local status

# WEKA CLI基本コマンド
weka status                        # クラスター状態
weka cluster host                  # ホスト一覧
weka fs                            # ファイルシステム一覧
weka fs group                      # ファイルシステムグループ
weka alerts                        # アラート確認

# ファイルシステム作成
weka fs create myfs default 10TiB

# ファイルシステムリサイズ
weka fs update myfs --total-capacity 20TiB

# スナップショット
weka fs snapshot create myfs snap-before-training
weka fs snapshot list myfs
weka fs snapshot restore myfs snap-before-training

# 組織作成
weka org create research-team

# ファイルシステムグループ（用途別分類）
weka fs group create ai-training --org research-team
weka fs group create inference --org research-team

# クォータ設定
weka fs quota set myfs --hard-limit 50TiB --path /projects/team-a

従来のI/Oパス：
Storage -> CPU Memory (bounce buffer) -> GPU Memory
           ^^^^^^^^^^^^^^^^^^^^^^^^^
           CPU介入が必要、追加メモリコピー

GDS I/Oパス：
Storage -> GPU Memory (direct DMA)
           ^^^^^^^^^^^^^^^^^^^^^^^^
           CPUバイパス、ゼロコピー

// GDSを使用したファイル読み込み例（CUDA C）
#include <cufile.h>

// GPUメモリ確保
void* gpu_buffer;
cudaMalloc(&gpu_buffer, file_size);

// cuFileハンドルを開く
CUfileDescr_t cf_desc;
CUfileHandle_t cf_handle;
cf_desc.type = CU_FILE_HANDLE_TYPE_OPAQUE_FD;

int fd = open("/mnt/weka/training_data.bin", O_RDONLY | O_DIRECT);
cf_desc.handle.fd = fd;

cuFileHandleRegister(&cf_handle, &cf_desc);

// GPUバッファ登録
cuFileBufRegister(gpu_buffer, file_size, 0);

// ストレージからGPUへ直接読み込み
cuFileRead(cf_handle, gpu_buffer, file_size, 0, 0);
// CPUを経由せずストレージからGPUメモリへ直接DMA転送

# 1. NVIDIAドライバーとCUDAインストール確認
nvidia-smi
nvcc --version

# 2. GDSパッケージインストール
# NVIDIA GDSとWEKAクライアントの両方が必要

# 3. GDS有効化でWEKAマウント
mount -t wekafs -o gds backend-host/fs-name /mnt/weka

# 4. GDS状態確認
/usr/local/cuda/gds/tools/gds_stats

# 5. 性能テスト
/usr/local/cuda/gds/tools/cufile_sample_001

import torch
from torch.utils.data import DataLoader, Dataset

class WEKAImageDataset(Dataset):
    def __init__(self, root_dir="/mnt/weka/imagenet"):
        self.root_dir = root_dir
        self.file_list = self._build_file_list()

    def _build_file_list(self):
        # WEKAの高速メタデータ処理で
        # 数百万ファイルのリストを数秒で構築
        import os
        files = []
        for root, dirs, fnames in os.walk(self.root_dir):
            for fname in fnames:
                if fname.endswith(('.jpg', '.jpeg', '.png')):
                    files.append(os.path.join(root, fname))
        return files

    def __len__(self):
        return len(self.file_list)

    def __getitem__(self, idx):
        img_path = self.file_list[idx]
        # WEKAの低レイテンシで高速ファイルアクセス
        image = read_image(img_path)
        return image

# 最適化されたDataLoader設定
dataloader = DataLoader(
    WEKAImageDataset(),
    batch_size=256,
    num_workers=16,        # WEKAは高い同時並行性をサポート
    pin_memory=True,       # GPU転送最適化
    prefetch_factor=4,     # プリフェッチ
    persistent_workers=True # ワーカー再利用
)

import torch

# チェックポイント保存（WEKAの高い書込スループットを活用）
def save_checkpoint(model, optimizer, epoch, path="/mnt/weka/checkpoints"):
    checkpoint = {
        'epoch': epoch,
        'model_state_dict': model.state_dict(),
        'optimizer_state_dict': optimizer.state_dict(),
    }
    torch.save(checkpoint, f"{path}/checkpoint_epoch_{epoch}.pt")

ImageNetデータセット例：
- 総ファイル数: 約1,400万
- 平均ファイルサイズ: 約100KB
- エポックあたり全データ読込が必要

ファイルシステム別ImageNetエポック時間（8x A100）：
- NFS:    45分（I/Oバウンド）
- Lustre: 15分（メタデータボトルネック）
- WEKA:   3分 （GPUバウンド）

分散トレーニングアーキテクチャ（NCCL + WEKA）：

+----------+  +----------+  +----------+  +----------+
| Node 1   |  | Node 2   |  | Node 3   |  | Node 4   |
| 8x H100  |  | 8x H100  |  | 8x H100  |  | 8x H100  |
+-----+----+  +-----+----+  +-----+----+  +-----+----+
      |              |              |              |
      +-------+------+------+------+------+-------+
              |      NCCL All-Reduce       |
              +----------------------------+
              |
      +-------+-------+
      |  WEKA Cluster  |
      | (共有データ)     |
      +----------------+

各ノードがWEKAから独立してデータを読込
NCCLがグラディエント同期を担当
WEKAが32ノード以上のリニアスケーリングを提供

+------------------------------------------------------------+
|              WEKA Tiered Storage                             |
|                                                              |
|  Tier 1: Hot (NVMe)                                         |
|  +------------------------------------------------------+   |
|  | アクティブトレーニングデータ、現在の実験データセット          |   |
|  | レイテンシ: 0.1ms未満                                    |   |
|  | スループット: 100+ GB/s                                  |   |
|  +------------------------------------------------------+   |
|                      |                                       |
|           自動ティアリング（アクセスパターン基準）                 |
|                      |                                       |
|  Tier 2: Warm (SSD, optional)                                |
|  +------------------------------------------------------+   |
|  | 最近の実験データ、頻繁にアクセスされるアーカイブ               |   |
|  | レイテンシ: 0.5ms未満                                    |   |
|  +------------------------------------------------------+   |
|                      |                                       |
|           Snap-to-Objectティアリング                           |
|                      |                                       |
|  Tier 3: Cold (Object Storage)                               |
|  +------------------------------------------------------+   |
|  | S3 / Azure Blob / GCS                                   |   |
|  | アーカイブされたデータセット、古いチェックポイント             |   |
|  | レイテンシ: 数十ms                                       |   |
|  | コスト: NVMe比 1/10〜1/50                                |   |
|  +------------------------------------------------------+   |
+------------------------------------------------------------+

# ティアリングポリシー設定
weka fs tier s3 add myfs \
  --obs-name my-s3-bucket \
  --obs-type s3 \
  --hostname s3.amazonaws.com \
  --port 443 \
  --bucket weka-tier-data \
  --access-key-id AKIAIOSFODNN7EXAMPLE \
  --secret-key wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

# ティアリングポリシー: 7日間未アクセスデータをS3へ移動
weka fs tier s3 update myfs --tiering-cue 7d

# 手動ティアリング（特定パス）
weka fs tier fetch myfs /datasets/imagenet  # S3からNVMeへ復元
weka fs tier release myfs /datasets/old_experiment  # NVMeからS3へ移動

全データ: 5PB
- Hot (NVMe): 500TB（アクティブトレーニング） = 約7.5万ドル/月
- Cold (S3):  4.5PB（アーカイブ）           = 約10.3万ドル/月
- 合計: 約17.8万ドル/月

全てNVMeに保管する場合: 約75万ドル/月
削減率: 約76%

AWSデプロイメントアーキテクチャ：

+------------------------------------------------------------+
|  VPC                                                        |
|  +------------------+  +------------------+                  |
|  | WEKA Backend     |  | WEKA Backend     |  ...            |
|  | i3en.24xlarge    |  | i3en.24xlarge    |                  |
|  | (8x 7.5TB NVMe) |  | (8x 7.5TB NVMe) |                  |
|  | 100 Gbps ENA     |  | 100 Gbps ENA     |                  |
|  +------------------+  +------------------+                  |
|                                                              |
|  +------------------+  +------------------+                  |
|  | Compute Client   |  | Compute Client   |  ...            |
|  | p5.48xlarge      |  | p5.48xlarge      |                  |
|  | (8x H100 GPU)    |  | (8x H100 GPU)    |                  |
|  | 3200 Gbps EFA    |  | 3200 Gbps EFA    |                  |
|  +------------------+  +------------------+                  |
|                                                              |
|  S3 Bucket (Cold Tier)                                       |
+------------------------------------------------------------+

オンプレミス + クラウドハイブリッド：

[オンプレミスWEKAクラスター]
  - 常時運用ワークロード
  - 機密データ
  - NVMe Hot Tier
         |
    S3ティアリング（自動）
         |
[AWS S3]
         |
    クラウドバースト（必要時）
         |
[AWS WEKAクラスター（一時的）]
  - 大規模トレーニングジョブ
  - オンデマンドGPU（p5インスタンス）
  - ジョブ完了後クラスター解放

バックエンドサーバー（最低6台推奨）：
  CPU: 最低19コア（WEKA専用16コア + OS 3コア）
  RAM: 最低72GB（WEKA専用31GB + OS）
  NVMe: 最低1台（推奨4-8台、各1TB以上）
  ネットワーク: 25GbE以上（推奨100GbE）

フロントエンドクライアント：
  CPU: 最低2コア（WEKAクライアント用）
  RAM: 最低4GB（WEKAクライアント用）
  ネットワーク: 25GbE以上

ネットワーク要件：
  - 専用DPDK NIC（Mellanox ConnectX-5/6推奨）
  - ジャンボフレーム（MTU 9000）
  - ロスレスネットワーク（RoCE v2またはInfiniBand）

# 1. WEKAパッケージのダウンロードとインストール
curl -o weka.tar https://get.weka.io/dist/v4.3/weka-4.3.tar
tar xf weka.tar
cd weka-4.3
./install.sh

# 2. クラスター作成
weka cluster create backend1 backend2 backend3 backend4 backend5 backend6

# 3. ドライブ追加
weka cluster drive add --host backend1 /dev/nvme0n1 /dev/nvme1n1

# 4. クラスター起動
weka cluster start

# 5. ファイルシステム作成
weka fs create training-data default 100TiB

# 6. クライアントマウント
mount -t wekafs backend1/training-data /mnt/weka

# シーケンシャル読込テスト
fio --name=seq-read \
  --directory=/mnt/weka/fio-test \
  --rw=read \
  --bs=1M \
  --numjobs=16 \
  --iodepth=32 \
  --size=10G \
  --direct=1

# ランダム読込IOPSテスト
fio --name=rand-read \
  --directory=/mnt/weka/fio-test \
  --rw=randread \
  --bs=4K \
  --numjobs=32 \
  --iodepth=64 \
  --size=1G \
  --direct=1

# 混合ワークロード（70%読込 / 30%書込）
fio --name=mixed \
  --directory=/mnt/weka/fio-test \
  --rw=randrw \
  --rwmixread=70 \
  --bs=64K \
  --numjobs=16 \
  --iodepth=32 \
  --size=5G \
  --direct=1

# benchmark_config.yaml
benchmark:
  model: resnet50
  accelerator: h100
  num_accelerators: 8
  dataset_path: /mnt/weka/mlperf/imagenet
  results_dir: /mnt/weka/mlperf/results

主要ダッシュボード項目：
- クラスター健全性（緑/黄/赤）
- 容量使用率とトレンド
- リアルタイムスループット/IOPSグラフ
- ノード別性能分布
- ティアリング状態（NVMe vs S3使用量）
- アラート履歴

# アラート確認
weka alerts
weka alerts --severity critical

# クラスター状態
weka status
weka cluster host -v

# 性能統計
weka stats --category ops
weka stats --category throughput
weka stats --category latency

# 容量情報
weka fs --name training-data -v

# 現在の容量使用量
weka fs --name training-data
# Total: 100 TiB, Used: 67 TiB, Available: 33 TiB

# 日次増加量の追跡
weka events --category capacity --start-time "7 days ago"

# ローリングアップグレード（無停止）
# 1. 新バージョンダウンロード
weka cluster update download --url https://get.weka.io/dist/v4.4/weka-4.4.tar

# 2. アップグレード開始（ノード別順次実行）
weka cluster update start

# 3. 進行状態確認
weka cluster update status

# 4. 完了確認
weka status

GPT-4規模トレーニング例：
- トレーニングデータ: 約13TB（トークン化テキスト）
- チェックポイント: 各約2TB（数千個）
- GPUクラスター: 10,000+ H100
- ストレージ要件: 200+ GB/s読込スループット

WEKA構成：
- 12ノード x 8 NVMe = 約600TB Hot Tier
- S3へチェックポイント自動アーカイブ
- GDSでGPU利用率95%以上維持

自動運転データ規模：
- 車両あたり日次データ: 約20TB（カメラ、LiDAR、レーダー）
- 全データセット: 数PB〜数十PB
- トレーニングサイクル: 継続的（新データ収集 + 再トレーニング）

ゲノミクスワークロード：
- WGS: サンプルあたり約100GB
- 大規模コホート: 数万サンプル = 数PB
- 分析パイプライン: 数百万の小ファイルを生成

創薬：
- 分子シミュレーション: 高いI/Oスループットが必要
- AI基盤の薬物スクリーニング: GPU集約的
- データ共有: 複数の研究チームが同時アクセス

リスクモデリング：
- 大規模モンテカルロシミュレーション
- ミリ秒単位のレイテンシ要件
- 取引データ分析

WEKA利点：
- 超低レイテンシ（0.1ms未満）
- 決定的性能（ジッター最小）
- 規制要件に対応したデータ保持

VFXレンダリング：
- フレームあたり数GBのテクスチャ/アセット
- 数百台のレンダーノードが同時アクセス
- 高いシーケンシャル読込スループットが必要

8K/16Kビデオ編集：
- リアルタイムストリーミング: フレームドロップなしで再生
- 複数のエディターが同時アクセス
- 大容量プロジェクトファイル管理