自律走行/ロボティクス技術スタック完全攻略：C++、ROS2、CUDA、TensorRTからVLM/VLA、シミュレーションまで

┌────────────────────────────────────────────────────────────────┐
│                  自律走行技術スタック全体構造                      │
│                                                                │
│  ┌──────────┐  ┌───────────┐  ┌───────────┐  ┌──────────────┐ │
│  │ センサー層 │  │  認識層    │  │  判断層    │  │  制御層      │ │
│  │ GPS/IMU  │→│ CV/DL     │→│ Planning  │→│ Control      │ │
│  │ Camera   │  │ センサー   │  │ Prediction│  │ CAN/Ethernet │ │
│  │ LiDAR    │  │ フュージョン│  │           │  │              │ │
│  └──────────┘  └───────────┘  └───────────┘  └──────────────┘ │
│                                                                │
│  ┌──────────────────────────────────────────────────────────┐  │
│  │ インフラ層: C++ | ROS2 | CUDA | TensorRT | Cloud/MLOps  │  │
│  └──────────────────────────────────────────────────────────┘  │
│                                                                │
│  ┌──────────────────────────────────────────────────────────┐  │
│  │ 検証層: SIL/HIL | Simulation(CARLA/Isaac) | VR/AR       │  │
│  └──────────────────────────────────────────────────────────┘  │
└────────────────────────────────────────────────────────────────┘

// Concepts: 型安全なセンサーインターフェース
template<typename T>
concept Sensor = requires(T s) {
    { s.read() } -> std::convertible_to<SensorData>;
    { s.calibrate() } -> std::same_as<bool>;
};

// Ranges: センサーデータパイプライン
auto obstacles = pointCloud
    | views::filter(isAboveGround)
    | views::transform(toWorldFrame)
    | views::take(maxObstacles);

// Coroutines: RTOSオーバーヘッドなしの協調マルチタスキング
// co_await, co_yieldで非同期I/O処理

✗ ホットパスでの動的メモリ割り当て → ✓ std::pmrアロケータまたは事前割り当てプール
✗ リアルタイム制御ループでの例外 → ✓ std::expectedまたはエラーコード
✗ ミューテックスベースの通信 → ✓ std::atomic、lock-freeデータ構造
✗ デフォルトスケジューリング → ✓ SCHED_FIFO / SCHED_RR (POSIX)

Front Camera ──┐
Left Camera  ──┤
Right Camera ──┼──→ [BEV Feature Space] ──→ 3D Detection
Rear Camera  ──┤                            Lane Detection
Side Cameras ──┘                            Occupancy Prediction

認識の進化パス:
CNN (2011-2016) → RNN+GAN (2016-2018) → BEV (2018-2020)
→ Transformer+BEV (2020-現在) → Occupancy (2022-現在) → End-to-End VLA (2024-現在)

行動出力方式の比較:

RT-2方式 (Action Tokenization):
  "move arm" → LLM → [トークン256] [トークン128] [トークン064] → 離散行動

pi0方式 (Flow Matching):
  "move arm" → VLM → Flow Expert → 連続的ベクトル場 → 滑らかな行動

┌─────────────────────────────────────────────┐
│             CUDAメモリ階層                      │
│                                              │
│  レジスタ（スレッドごと）                       │
│    ↓                                         │
│  共有メモリ（ブロックごと、約48-164KB）          │
│    ↓                                         │
│  L2キャッシュ                                 │
│    ↓                                         │
│  グローバルメモリ（VRAM）                       │
│                                              │
│  スレッド → ワープ(32個) → ブロック(最大1024) → グリッド │
└─────────────────────────────────────────────┘

最適化前: Conv → BatchNorm → ReLU（3カーネル実行）
最適化後: Conv+BN+ReLU（1カーネル実行）

効果: カーネル実行オーバーヘッド最大80%削減
      メモリ帯域幅最大50%削減
      スループット約30%向上

PyTorch Model
  → ONNX Export (torch.onnx.export)
  → TensorRT Builder (trtexecまたはPython API)
    → グラフ最適化 + レイヤーフュージョン
    → 精度キャリブレーション (INT8/FP8)
    → カーネル自動チューニング
  → シリアライズされたエンジン (.engineファイル)
  → TensorRT Runtime（推論）

Large Teacher (FP32)
  → Knowledge Distillation → Smaller Student
  → Structured Pruning → チャネル/ヘッド除去
  → QAT Fine-tuning → INT8/FP8
  → TensorRT Export → フュージョン・最適化エンジン

Predict (予測):  x̂ₖ|ₖ₋₁ = F·x̂ₖ₋₁ + B·uₖ
                 Pₖ|ₖ₋₁ = F·Pₖ₋₁·Fᵀ + Q

Update (補正):   Kₖ = Pₖ|ₖ₋₁·Hᵀ·(H·Pₖ|ₖ₋₁·Hᵀ + R)⁻¹
                 x̂ₖ = x̂ₖ|ₖ₋₁ + Kₖ·(zₖ - H·x̂ₖ|ₖ₋₁)

┌──────────────────────────────────────────────────┐
│                    SIL環境                          │
│                                                   │
│  [認識アルゴリズム] ←→ [センサーシミュレーション]      │
│  [計画アルゴリズム] ←→ [シナリオエンジン]             │
│  [制御アルゴリズム] ←→ [車両ダイナミクスモデル]       │
│                                                   │
│  実行環境: ホストPC (x86)                           │
│  物理ハードウェア: なし                              │
│  反復速度: 秒〜分                                   │
│  CI/CD統合: 可能（クラウド並列化）                    │
└──────────────────────────────────────────────────┘

┌──────────────────────────────────────────────────┐
│                    HIL環境                          │
│                                                   │
│  [実ECU (DUT)] ←→ [HILシミュレータ]                 │
│                     ├ 車両ダイナミクスモデル          │
│                     ├ センサー信号注入 (HDMI/ETH)    │
│                     ├ バスシミュレーション (CAN/ETH)  │
│                     └ 故障注入                       │
│                                                   │
│  実行環境: 実ターゲットハードウェア (Orin, EyeQ等)    │
│  リアルタイム: ハードウェアクロックレート               │
│  ISO 26262: 機能安全認証に必須                       │
└──────────────────────────────────────────────────┘

MIL (Model-in-the-Loop)     — MATLAB/Simulinkプロトタイピング
  → SIL                      — ホストPC + シミュレーション環境
    → PIL (Processor-in-the-Loop) — ターゲットプロセッサコンパイル、ホスト実行
      → HIL                  — ターゲットECU + シミュレーション環境
        → VIL (Vehicle-in-the-Loop) — 実車 + シナリオ注入
          → Road Testing     — 実車 + 実環境

# CARLA Docker実行
docker pull carlasim/carla:0.9.15
docker run --privileged --gpus all --net=host \
    carlasim/carla:0.9.15 /bin/bash ./CarlaUE4.sh

# Python APIでシナリオ制御
pip install carla

import carla

client = carla.Client('localhost', 2000)
world = client.get_world()

# 車両スポーン
blueprint = world.get_blueprint_library().find('vehicle.tesla.model3')
spawn_point = world.get_map().get_spawn_points()[0]
vehicle = world.spawn_actor(blueprint, spawn_point)

# カメラセンサー取り付け
camera_bp = world.get_blueprint_library().find('sensor.camera.rgb')
camera = world.spawn_actor(camera_bp, carla.Transform(), attach_to=vehicle)

┌─────────────────────────────────────────────────────────────────┐
│                     自律走行フルスタック                            │
│                                                                  │
│  1. Sensing         センサードライバ、時刻同期、ロギング           │
│       ↓                                                          │
│  2. Localization    HDマップマッチング、V-SLAM、LiDAR SLAM、GNSS/IMU │
│       ↓              → 6-DOF車両姿勢 (100+ Hz)                    │
│  3. Perception      3D検出、追跡、セマンティックセグメンテーション、Occupancy │
│       ↓              → 3Dバウンディングボックス、トラックID、セマンティックマップ │
│  4. Prediction      エージェントの将来軌跡予測 (3-8秒)             │
│       ↓              → エージェントごとのマルチモード軌跡            │
│  5. Planning        経路計画、行動計画、モーション計画               │
│       ↓              → 軌跡（姿勢＋速度シーケンス）                 │
│  6. Control         横方向（操舵）＋縦方向（加減速）制御             │
│       ↓              → CANコマンド (steer-by-wire, brake-by-wire)  │
└─────────────────────────────────────────────────────────────────┘

車両 (Edge)
  → セルラー/WiFiで生ログをアップロード
  → Object Storage (S3/GCS/Azure Blob)
  → データカタログ & インデクシング（シナリオマイニング）
  → 自動アノテーション（既存モデルで事前ラベリング）
  → 人間によるアノテーション（検証、コーナーケース）
  → データセットバージョン管理 (DVC, LakeFS)
  → 学習クラスタ
  → モデルレジストリ
  → 検証パイプライン（オフラインメトリクス、SIL）
  → OTAデプロイ

A/Bパーティション: 非アクティブパーティションを更新 → 再起動時に切り替え
デルタアップデート: 変更バイトのみ送信 (100-500MB vs 10+GB)
段階的ロールアウト: 1% → モニタリング → 段階的拡大
ロールバック: 異常検知時に前バージョンへ復元

モデルデプロイ → 実走行データ収集 → 失敗事例の自動マイニング
→ アノテーション追加 → 再学習 → SIL検証 → A/Bテスト → 全体デプロイ
→ [反復]