Segment Anything Model 完全攻略：SAM 1 → SAM 2 → SAM 3 論文分析と実践ガイド

┌─────────────────────────────────────────────────────────┐
│                      SAM Architecture                    │
│                                                          │
│  ┌──────────────┐   ┌────────────────┐                   │
│  │ Image Encoder │   │ Prompt Encoder │                   │
│  │  (ViT-H/L/B) │   │ (Point/Box/    │                   │
│  │  MAE事前学習   │   │  Mask/Text)    │                   │
│  └──────┬───────┘   └───────┬────────┘                   │
│         │                   │                            │
│         └─────────┬─────────┘                            │
│                   ▼                                      │
│          ┌────────────────┐                              │
│          │  Mask Decoder   │                              │
│          │ (Transformer    │                              │
│          │  2-layer)       │──→ 3つのマスク + IoUスコア    │
│          └────────────────┘                              │
└─────────────────────────────────────────────────────────┘

Phase 1: Assisted-Manual        Phase 2: Semi-Automatic       Phase 3: Fully Automatic
─────────────────────          ──────────────────────         ──────────────────────
• SAM＋人間アノテーター          • SAMが自動マスク提案          • 32×32グリッドポイント自動生成
• ブラウザベースツール           • 人間が欠落オブジェクト追加   • NMS＋信頼度フィルタリング
• 12万画像 / 430万マスク       • 18万画像 / 590万マスク      • 11億マスクの大部分

# インストール
pip install git+https://github.com/facebookresearch/segment-anything.git

# オプション依存関係
pip install opencv-python pycocotools matplotlib onnxruntime onnx

from segment_anything import SamPredictor, sam_model_registry
import numpy as np

# モデルの読み込み
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
sam.to(device="cuda")

# 予測器の作成
predictor = SamPredictor(sam)

# 画像の設定（画像埋め込みを1回計算）
predictor.set_image(image)  # numpy array (H, W, 3) RGB

# ポイントプロンプトで予測
masks, scores, logits = predictor.predict(
    point_coords=np.array([[500, 375]]),  # (N, 2) 座標
    point_labels=np.array([1]),            # 1=前景, 0=背景
    multimask_output=True,                 # 3つの候補マスクを返す
)

from segment_anything import SamAutomaticMaskGenerator, sam_model_registry

sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
sam.to(device="cuda")

mask_generator = SamAutomaticMaskGenerator(sam)
masks = mask_generator.generate(image)
# 各マスク: segmentation, area, bbox, predicted_iou, stability_score

┌────────────────────────────────────────────────────────────────────┐
│                    SAM 2 Streaming Architecture                    │
│                                                                    │
│  フレームt-2    フレームt-1    フレームt（現在）                      │
│     │            │            │                                    │
│     ▼            ▼            ▼                                    │
│  ┌──────┐    ┌──────┐    ┌──────────────┐                          │
│  │Hiera │    │Hiera │    │ Hiera Image  │                          │
│  │Enc.  │    │Enc.  │    │   Encoder    │                          │
│  └──┬───┘    └──┬───┘    └──────┬───────┘                          │
│     │           │               │                                  │
│     ▼           ▼               ▼                                  │
│  ┌──────────────────────────────────────────┐                      │
│  │            Memory Bank                    │                      │
│  │  ┌──────────────┐  ┌───────────────────┐ │                      │
│  │  │ FIFO Queue   │  │ Prompted Frames   │ │                      │
│  │  │ (N個の最近   │  │ (M個のプロンプト  │ │                      │
│  │  │  フレーム)   │  │  フレーム)        │ │                      │
│  │  └──────────────┘  └───────────────────┘ │                      │
│  │  ┌──────────────────────────────────────┐│                      │
│  │  │     Object Pointers (256-dim)        ││                      │
│  │  └──────────────────────────────────────┘│                      │
│  └──────────────────┬───────────────────────┘                      │
│                     ▼                                              │
│  ┌──────────────────────────────┐   ┌───────────────┐              │
│  │    Memory Attention Module    │←──│Prompt Encoder │              │
│  │ (L Transformer Blocks:       │   │(Point/Box/    │              │
│  │  Self-Attn + Cross-Attn)     │   │ Mask)         │              │
│  └──────────────┬───────────────┘   └───────────────┘              │
│                 ▼                                                   │
│  ┌──────────────────────────┐                                      │
│  │      Mask Decoder        │──→ マスク + IoU + Occlusion Score    │
│  │ (+ Skip Connections)     │                                      │
│  └──────────────────────────┘                                      │
└────────────────────────────────────────────────────────────────────┘

# インストール
git clone https://github.com/facebookresearch/sam2.git && cd sam2
pip install -e .

# チェックポイントのダウンロード
cd checkpoints && ./download_ckpts.sh && cd ..

import torch
from sam2.build_sam import build_sam2
from sam2.sam2_image_predictor import SAM2ImagePredictor

checkpoint = "./checkpoints/sam2.1_hiera_large.pt"
model_cfg = "configs/sam2.1/sam2.1_hiera_l.yaml"
predictor = SAM2ImagePredictor(build_sam2(model_cfg, checkpoint))

with torch.inference_mode(), torch.autocast("cuda", dtype=torch.bfloat16):
    predictor.set_image(image)
    masks, _, _ = predictor.predict(
        point_coords=np.array([[500, 375]]),
        point_labels=np.array([1]),
    )

import torch
from sam2.build_sam import build_sam2_video_predictor

checkpoint = "./checkpoints/sam2.1_hiera_large.pt"
model_cfg = "configs/sam2.1/sam2.1_hiera_l.yaml"
predictor = build_sam2_video_predictor(model_cfg, checkpoint)

with torch.inference_mode(), torch.autocast("cuda", dtype=torch.bfloat16):
    state = predictor.init_state(video_path)

    # 特定フレームにプロンプトを追加
    frame_idx, object_ids, masks = predictor.add_new_points_or_box(
        state, frame_idx=0, obj_id=1,
        points=np.array([[500, 375]]),
        labels=np.array([1]),
    )

    # 動画全体に伝播
    for frame_idx, object_ids, masks in predictor.propagate_in_video(state):
        # 各フレームのマスクを処理
        process_masks(frame_idx, masks)

from sam2.sam2_image_predictor import SAM2ImagePredictor
predictor = SAM2ImagePredictor.from_pretrained("facebook/sam2-hiera-large")

from sam2.sam2_video_predictor import SAM2VideoPredictor
predictor = SAM2VideoPredictor.from_pretrained("facebook/sam2-hiera-large")

SAM 1: ポイント/ボックス → 「この位置のオブジェクトを分離して」
SAM 2: ポイント/ボックス + 動画追跡 → 「このオブジェクトを動画で追いかけて」
SAM 3: テキスト/画像例示 → 「この概念に該当するすべてを見つけて」

┌───────────────────────────────────────────────────────────────────────┐
│                       SAM 3 Architecture                              │
│                                                                       │
│  ┌────────────┐  ┌────────────┐  ┌──────────────────┐                 │
│  │ Text       │  │ Exemplar   │  │ Visual Prompts   │                 │
│  │ Encoder    │  │ Encoder    │  │ (Point/Box/Mask) │                 │
│  │ "school    │  │ [画像]      │  │                  │                 │
│  │  bus"      │  │            │  │                  │                 │
│  └─────┬──────┘  └─────┬──────┘  └────────┬─────────┘                 │
│        └────────────┬───┘                  │                          │
│                     ▼                      │                          │
│  ┌──────────────────────────────┐          │                          │
│  │   Meta Perception Encoder    │          │                          │
│  │   (Vision-Language共同空間)   │          │                          │
│  └──────────────┬───────────────┘          │                          │
│                 │                          │                          │
│        ┌────────┴────────┐                 │                          │
│        ▼                 ▼                 │                          │
│  ┌───────────┐    ┌─────────────────┐      │                          │
│  │ Presence  │    │  Fusion Encoder │      │                          │
│  │   Head    │    │  (条件付き特徴)  │      │                          │
│  │ "有/無"    │    └────────┬────────┘      │                          │
│  └───────────┘             │               │                          │
│                            ▼               │                          │
│               ┌──────────────────┐         │                          │
│               │  DETR Detector   │←────────┘                          │
│               │  (Transformer    │                                    │
│               │   ベース検出)     │                                    │
│               └────────┬─────────┘                                    │
│                        │                                              │
│                        ▼                                              │
│  ┌──────────────────────────────────────┐                             │
│  │    SAM 2-inspired Tracker            │                             │
│  │    (Memory Bank＋時間的一貫性)        │                             │
│  └──────────────────┬───────────────────┘                             │
│                     ▼                                                 │
│              マスク＋ボックス＋スコア                                   │
└───────────────────────────────────────────────────────────────────────┘

従来方式: 検出器が「探す」と「存在判断」を同時に実行 → 最適化の衝突
SAM 3:   Presence Headが「存在するか」をまず判断 → 検出器は「探す」ことだけに集中

# 環境の作成
conda create -n sam3 python=3.12
conda activate sam3

# PyTorchのインストール
pip install torch==2.7.0 torchvision torchaudio \
    --index-url https://download.pytorch.org/whl/cu126

# SAM 3のインストール
git clone https://github.com/facebookresearch/sam3.git
cd sam3
pip install -e .

# オプション：ノートブックまたは開発用
pip install -e ".[notebooks]"
pip install -e ".[train,dev]"

from PIL import Image
from sam3.model_builder import build_sam3_image_model
from sam3.model.sam3_image_processor import Sam3Processor

model = build_sam3_image_model()
processor = Sam3Processor(model)
image = Image.open("path/to/image.jpg")

# テキストプロンプトで概念セグメンテーション
inference_state = processor.set_image(image)
output = processor.set_text_prompt(
    state=inference_state,
    prompt="yellow school bus"
)
masks, boxes, scores = output["masks"], output["boxes"], output["scores"]

from sam3.model_builder import build_sam3_video_predictor

video_predictor = build_sam3_video_predictor()
response = video_predictor.handle_request(
    request=dict(
        type="start_session",
        resource_path="path/to/video.mp4"
    )
)

pip install -U ultralytics

from ultralytics.models.sam import SAM3SemanticPredictor

overrides = dict(
    conf=0.25, task="segment", mode="predict",
    model="sam3.pt", half=True
)
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor.set_image("path/to/image.jpg")

# 複数の概念を同時にセグメンテーション
results = predictor(text=["person", "bus", "glasses"])

1. SAM 1論文 (2023) → 基礎概念の確立
   ↓
2. SAM 2論文 (2024) → 動画拡張の理解
   ↓
3. SAM 3論文 (2025) → 概念認識の理解
   ↓
4. 各GitHubリポジトリのノートブック実習