HBase実践ガイド：大規模NoSQLデータストアの設計から運用まで

┌────────────────────────────────────────────────────────┐
│                       Client                           │
│   (HBase Shell, Java API, REST, Thrift)                │
└───────────────────────┬────────────────────────────────┘
                        │
                ┌───────▼───────┐
                │   ZooKeeper   │
                │  (coordination│
                │   & discovery)│
                └───┬───────┬───┘
                    │       │
            ┌───────▼──┐  ┌─▼──────────┐
            │  HMaster  │  │  HMaster   │
            │ (Active)  │  │ (Standby)  │
            └───────┬───┘  └────────────┘
                    │
     ┌──────────────┼──────────────┐
     │              │              │
┌────▼─────┐  ┌────▼─────┐  ┌────▼─────┐
│RegionSvr │  │RegionSvr │  │RegionSvr │
│┌────────┐│  │┌────────┐│  │┌────────┐│
││Region A││  ││Region C││  ││Region E││
│├────────┤│  │├────────┤│  │├────────┤│
││Region B││  ││Region D││  ││Region F││
│└────────┘│  │└────────┘│  │└────────┘│
└──────────┘  └──────────┘  └──────────┘
       │              │              │
       └──────────────┼──────────────┘
                      │
               ┌──────▼──────┐
               │    HDFS     │
               │ (Storage)   │
               └─────────────┘

┌─────────────── Region ──────────────────┐
│                                          │
│  ┌─── Column Family: cf1 ─────────────┐ │
│  │  ┌──────────┐                      │ │
│  │  │ MemStore │  (メモリ、書込バッファ)│ │
│  │  └──────────┘                      │ │
│  │  ┌──────────┐  ┌──────────┐       │ │
│  │  │ HFile 1  │  │ HFile 2  │       │ │
│  │  └──────────┘  └──────────┘       │ │
│  └────────────────────────────────────┘ │
│                                          │
│  ┌─── Column Family: cf2 ─────────────┐ │
│  │  ┌──────────┐                      │ │
│  │  │ MemStore │                      │ │
│  │  └──────────┘                      │ │
│  │  ┌──────────┐                      │ │
│  │  │ HFile 1  │                      │ │
│  │  └──────────┘                      │ │
│  └────────────────────────────────────┘ │
│                                          │
│  ┌──────────────────────────────────┐   │
│  │         WAL (Write-Ahead Log)    │   │
│  └──────────────────────────────────┘   │
└──────────────────────────────────────────┘

1. Client → RegionServerにPutリクエスト
2. WAL（Write-Ahead Log）に記録（HDFSに保存、障害復旧用）
3. MemStoreに記録（メモリ）
4. Clientに成功レスポンス
5. MemStoreが満杯になったら → HFileにFlush（HDFSに保存）

1. Client → RegionServerにGetリクエスト
2. Block Cacheを確認（メモリ）
3. MemStoreを確認（メモリ）
4. HFileを確認（ディスク、Bloom Filterで高速フィルタリング）
5. 結果をマージ（最新バージョンを返却）

Table: user_activity
─────────────────────────────────────────────────────────────────
RowKey          | Column Family: info      | Column Family: stats
                | name     | email        | login_count | last_login
─────────────────────────────────────────────────────────────────
user001         | 金英柱   | yj@email.com | 142         | 2026-03-08
user002         | 朴瑞俊   | sj@email.com | 87          | 2026-03-07
user003         | 李河那   | hn@email.com | 256         | 2026-03-08
─────────────────────────────────────────────────────────────────

# 実際にはColumn Family単位で別々に保存
# Key-Value形式：(RowKey, CF:Qualifier, Timestamp) → Value

# Column Family: info
(user001, info:name, t3) → "金英柱"
(user001, info:name, t1) → "金英柱（旧）"     # 以前のバージョン
(user001, info:email, t2) → "yj@email.com"
(user002, info:name, t4) → "朴瑞俊"
(user002, info:email, t4) → "sj@email.com"

# Column Family: stats（別のHFile）
(user001, stats:login_count, t5) → 142
(user001, stats:last_login, t5) → "2026-03-08"

# 悪いRowKey：順次キー
# → すべての書き込みが最後のRegionに集中（ホットスポット）

RowKey: 20260308_000001
RowKey: 20260308_000002
RowKey: 20260308_000003
        ↓ すべての書き込みが1つのRegionに集中！

┌──────────┐ ┌──────────┐ ┌──────────┐
│ Region 1 │ │ Region 2 │ │ Region 3 │
│ (暇)     │ │ (暇)     │ │ (過負荷!)│
└──────────┘ └──────────┘ └──────────┘

// 元のRowKey："20260308_user001"
// Salt適用：hash("20260308_user001") % NUM_REGIONS + "_" + 元のキー

int numRegions = 10;
String originalKey = "20260308_user001";
int salt = Math.abs(originalKey.hashCode() % numRegions);
String saltedKey = String.format("%02d_%s", salt, originalKey);
// 結果："07_20260308_user001"

// データがRegionに均等に分配される
// Region 0: 00_xxx, Region 1: 01_xxx, ... Region 9: 09_xxx

// ドメインベースのRowKeyを反転して分散
// 元："com.google.www" → 反転："www.google.com"
// 元："com.google.mail" → 反転："liam.elgoog.moc"

// タイムスタンプの反転
long reverseTimestamp = Long.MAX_VALUE - System.currentTimeMillis();
String rowKey = userId + "_" + reverseTimestamp;
// 最新データが先にソートされる（最も一般的なクエリパターン）

// MD5ハッシュの先頭N文字をprefixとして使用
String hashPrefix = DigestUtils.md5Hex(userId).substring(0, 4);
String rowKey = hashPrefix + "_" + userId + "_" + timestamp;
// 結果："a3f2_user001_20260308120000"

# 時系列データ（IoTセンサー）
salt_deviceId_reverseTimestamp
例：03_sensor042_9223370449055775807

# ユーザー活動ログ
userId_reverseTimestamp_activityType
例：user001_9223370449055775807_login

# Webページクローリング
reversedDomain_path_timestamp
例：moc.elgoog_/search_20260308

# メッセージングシステム
chatRoomId_reverseTimestamp_messageId
例：room001_9223370449055775807_msg12345

# HBase Shellの起動
hbase shell

# テーブルの作成
create 'user_activity', \
  {NAME => 'info', VERSIONS => 3, COMPRESSION => 'SNAPPY', BLOOMFILTER => 'ROW'}, \
  {NAME => 'stats', VERSIONS => 1, COMPRESSION => 'SNAPPY', TTL => 2592000}

# テーブル一覧
list

# テーブルの詳細情報
describe 'user_activity'

# テーブルの無効化/削除
disable 'user_activity'
drop 'user_activity'

# テーブル構造の変更（無効化が必要）
disable 'user_activity'
alter 'user_activity', {NAME => 'info', VERSIONS => 5}
alter 'user_activity', {NAME => 'logs'}  # 新しいCFの追加
enable 'user_activity'

# Pre-splitテーブルの作成（ホットスポット防止）
create 'events', 'data', SPLITS => ['10', '20', '30', '40', '50', '60', '70', '80', '90']

# Put（挿入/更新）
put 'user_activity', 'user001', 'info:name', '金英柱'
put 'user_activity', 'user001', 'info:email', 'yj@email.com'
put 'user_activity', 'user001', 'stats:login_count', '142'

# Get（単一行の照会）
get 'user_activity', 'user001'
get 'user_activity', 'user001', {COLUMN => 'info:name'}
get 'user_activity', 'user001', {COLUMN => 'info:name', VERSIONS => 3}
get 'user_activity', 'user001', {TIMERANGE => [1709856000000, 1709942400000]}

# Scan（範囲スキャン）
scan 'user_activity'
scan 'user_activity', {LIMIT => 10}
scan 'user_activity', {STARTROW => 'user001', STOPROW => 'user010'}
scan 'user_activity', {COLUMNS => ['info:name', 'stats:login_count']}
scan 'user_activity', {FILTER => "SingleColumnValueFilter('info','name',=,'binary:金英柱')"}

# Delete
delete 'user_activity', 'user001', 'info:email'  # 特定カラムの削除
deleteall 'user_activity', 'user001'               # 行全体の削除

# Count（注意：大量データでは遅い）
count 'user_activity'
count 'user_activity', INTERVAL => 100000

# Truncate
truncate 'user_activity'

# クラスタの状態
status
status 'detailed'
status 'simple'

# Region管理
list_regions 'user_activity'

# 手動Region Split
split 'user_activity', 'user500'

# Major Compaction（手動実行、ピーク時間を避ける）
major_compact 'user_activity'

# Flush
flush 'user_activity'

# Balancerの状態
balancer_enabled
balance_switch true

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

// Configurationの作成
Configuration config = HBaseConfiguration.create();
config.set("hbase.zookeeper.quorum", "zk1,zk2,zk3");
config.set("hbase.zookeeper.property.clientPort", "2181");

// Connection（スレッドセーフ、アプリケーションのライフタイムと同じ）
Connection connection = ConnectionFactory.createConnection(config);

// Table（スレッドセーフではない、使用後にclose）
Table table = connection.getTable(TableName.valueOf("user_activity"));

// Put（書き込み）
Put put = new Put(Bytes.toBytes("user001"));
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("金英柱"));
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("email"), Bytes.toBytes("yj@email.com"));
put.addColumn(Bytes.toBytes("stats"), Bytes.toBytes("login_count"), Bytes.toBytes(142));
table.put(put);

// Batch Put（大量書き込み）
List<Put> puts = new ArrayList<>();
for (int i = 0; i < 10000; i++) {
    Put p = new Put(Bytes.toBytes(String.format("user%06d", i)));
    p.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"),
                Bytes.toBytes("User " + i));
    puts.add(p);
}
table.put(puts);

// Get（読み取り）
Get get = new Get(Bytes.toBytes("user001"));
get.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
Result result = table.get(get);
byte[] value = result.getValue(Bytes.toBytes("info"), Bytes.toBytes("name"));
System.out.println("Name: " + Bytes.toString(value));

// Scan（範囲スキャン）
Scan scan = new Scan();
scan.withStartRow(Bytes.toBytes("user001"));
scan.withStopRow(Bytes.toBytes("user100"));
scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
scan.setCaching(500);   // RPCごとの返却行数
scan.setBatch(10);      // 1行から返却するカラム数

try (ResultScanner scanner = table.getScanner(scan)) {
    for (Result r : scanner) {
        String rowKey = Bytes.toString(r.getRow());
        String name = Bytes.toString(r.getValue(Bytes.toBytes("info"), Bytes.toBytes("name")));
        System.out.println(rowKey + ": " + name);
    }
}

// Delete
Delete delete = new Delete(Bytes.toBytes("user001"));
delete.addColumn(Bytes.toBytes("info"), Bytes.toBytes("email"));
table.delete(delete);

// リソースの解放
table.close();
connection.close();

BufferedMutatorParams params = new BufferedMutatorParams(TableName.valueOf("user_activity"))
    .writeBufferSize(5 * 1024 * 1024); // 5MBバッファ

try (BufferedMutator mutator = connection.getBufferedMutator(params)) {
    for (int i = 0; i < 1000000; i++) {
        Put put = new Put(Bytes.toBytes(String.format("user%08d", i)));
        put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"),
                      Bytes.toBytes("User " + i));
        mutator.mutate(put);
    }
    mutator.flush(); // バッファに残ったデータを送信
}

# 1. CSVをHFileに変換（MapReduce）
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \
  -Dimporttsv.separator=',' \
  -Dimporttsv.columns='HBASE_ROW_KEY,info:name,info:email,stats:login_count' \
  -Dimporttsv.bulk.output='/tmp/hbase-bulkload' \
  user_activity \
  /input/users.csv

# 2. HFileをHBaseにロード
hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles \
  /tmp/hbase-bulkload \
  user_activity

# Regionが一定サイズに達すると自動分割
# デフォルト分割ポリシー：IncreasingToUpperBoundRegionSplitPolicy

# Regionサイズの計算：
# min(r^2 * memstore.flush.size * 2, hbase.hregion.max.filesize)
# r = 同じテーブルの同じRSにあるRegion数

# 手動設定
hbase.hregion.max.filesize = 10737418240  # 10GB

# 分割プロセス：
# 1. 分割ポイント（midpoint）の決定
# 2. 2つの新しいRegion（daughter）の作成
# 3. 既存Regionの無効化
# 4. メタテーブルの更新
# 5. 新しいRegionの有効化
# 6. 既存Regionのクリーンアップ（compaction後）

# Minor Compaction
# - 小さなHFileをより大きなHFileに統合
# - 削除マーカー（tombstone）を保持
# - 自動で随時実行

# Major Compaction
# - すべてのHFileを1つのHFileに統合
# - 削除マーカーの除去、期限切れバージョンの除去
# - ディスクI/Oが多い → ピーク時間を避ける
# - デフォルト7日周期で自動実行

# 手動Major Compaction
major_compact 'user_activity'

# Major Compactionの自動実行を無効化
# hbase-site.xml
# hbase.hregion.majorcompaction = 0
# → cronでオフピーク時間に手動実行

<!-- hbase-site.xml Compaction設定 -->
<configuration>
    <!-- Minor Compactionのトリガー閾値 -->
    <property>
        <name>hbase.hstore.compactionThreshold</name>
        <value>3</value>  <!-- HFileが3つ以上でMinor Compaction -->
    </property>

    <!-- Major Compaction周期（0 = 無効化） -->
    <property>
        <name>hbase.hregion.majorcompaction</name>
        <value>604800000</value>  <!-- 7日、0に設定で無効化 -->
    </property>

    <!-- MemStore Flushサイズ -->
    <property>
        <name>hbase.hregion.memstore.flush.size</name>
        <value>134217728</value>  <!-- 128MB -->
    </property>
</configuration>

# HMaster UI: http://hmaster:16010
# RegionServer UI: http://regionserver:16030

# JMXメトリクスの確認
curl http://regionserver:16030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server

#!/bin/bash
# HBaseクラスタ状態チェックスクリプト

echo "=== HBase Cluster Status ==="
echo "status" | hbase shell 2>/dev/null | grep -E "servers|dead|regions"

echo ""
echo "=== Region Distribution ==="
echo "status 'detailed'" | hbase shell 2>/dev/null | grep -E "regionserver|regions="

echo ""
echo "=== Table Sizes ==="
for table in $(echo "list" | hbase shell 2>/dev/null | grep -v "TABLE\|row(s)"); do
    size=$(hdfs dfs -du -s -h /hbase/data/default/$table 2>/dev/null | awk '{print $1 $2}')
    echo "$table: $size"
done

# RegionServerの状態確認
echo "status" | hbase shell

# 特定RegionServerのログ確認
tail -f /var/log/hbase/hbase-hbase-regionserver-hostname.log

# Regionの再割り当て
hbase hbck -reassign <encoded-region-name>

# hbck2（HBase 2.x）
hbase hbck -j /path/to/hbase-hbck2.jar assigns <encoded-region-name>

# hbase-env.sh
export HBASE_REGIONSERVER_OPTS="
  -Xmx32g -Xms32g
  -XX:+UseG1GC
  -XX:MaxGCPauseMillis=100
  -XX:+ParallelRefProcEnabled
  -XX:G1HeapRegionSize=16m
  -XX:InitiatingHeapOccupancyPercent=65
  -verbose:gc
  -XX:+PrintGCDetails
  -XX:+PrintGCDateStamps
  -Xloggc:/var/log/hbase/gc-regionserver.log
"

# 特定Regionのリクエスト数を確認
echo "status 'detailed'" | hbase shell | grep -A2 "requestsPerSecond"

# ホットスポットRegionの手動分割
split 'ENCODED_REGION_NAME', 'split_key'

# またはテーブルレベルの分割
split 'user_activity', 'user500000'

# RIT状態の確認
echo "status 'detailed'" | hbase shell | grep "transition"

# 強制割り当て
hbase hbck -j /path/to/hbase-hbck2.jar assigns <region-encoded-name>

# メタテーブルの修復
hbase hbck -j /path/to/hbase-hbck2.jar fixMeta