OpenStack & KVM仮想化完全ガイド2025：プライベートクラウド構築から運用まで

+--------------------------------------------------+
|        仮想化方式の比較                              |
+--------------------------------------------------+
| 完全仮想化 (Full Virtualization)                    |
|   - ゲストOS修正なしで実行                            |
|   - Binary Translationで特権命令を処理                |
|   - 性能オーバーヘッドあり                             |
+--------------------------------------------------+
| 準仮想化 (Para-virtualization)                      |
|   - ゲストOSカーネルの修正が必要 (Hypercall)           |
|   - Xenが代表的                                     |
|   - 性能は優秀だが互換性に制限                          |
+--------------------------------------------------+
| ハードウェア支援仮想化 (HW-assisted)                   |
|   - Intel VT-x / AMD-V                            |
|   - ゲストOS修正不要 + 高性能                          |
|   - KVMがこの方式を活用                               |
+--------------------------------------------------+

  仮想マシン (VM)                  コンテナ (Container)
+------------------+           +------------------+
|   App A | App B  |           | App A  |  App B  |
+------------------+           +------------------+
| Guest  | Guest   |           | Bins/  | Bins/   |
|  OS    |  OS     |           | Libs   | Libs    |
+------------------+           +------------------+
|   Hypervisor     |           | Container Engine  |
+------------------+           +------------------+
|   Host OS        |           |   Host OS         |
+------------------+           +------------------+
|   Hardware       |           |   Hardware        |
+------------------+           +------------------+

+--------------------------------------------------+
|          ゲストVM（各VMはLinuxプロセス）               |
|  +-----------+  +-----------+  +-----------+      |
|  | Guest OS  |  | Guest OS  |  | Guest OS  |      |
|  +-----------+  +-----------+  +-----------+      |
|  |   QEMU    |  |   QEMU    |  |   QEMU    |      |
|  | (userspace)|  | (userspace)|  | (userspace)|    |
+--------------------------------------------------+
|              Linux Kernel                         |
|  +------+  +-------+  +--------+  +---------+    |
|  | KVM  |  | sched |  | memory |  | network |    |
|  |module |  |       |  | mgmt   |  | stack   |    |
|  +------+  +-------+  +--------+  +---------+    |
+--------------------------------------------------+
|              Hardware                             |
|  +----------+  +-------+  +--------+             |
|  | CPU      |  | RAM   |  | NIC    |             |
|  | VT-x/SVM |  |       |  |        |             |
|  +----------+  +-------+  +--------+             |
+--------------------------------------------------+

# KVMサポート確認
grep -E '(vmx|svm)' /proc/cpuinfo

# KVMモジュールのロード
sudo modprobe kvm
sudo modprobe kvm_intel  # Intel CPU
# sudo modprobe kvm_amd  # AMD CPU

# KVMデバイス確認
ls -la /dev/kvm

# NUMAトポロジー確認
numactl --hardware

# lstopoで可視化
lstopo --of png > topology.png

<vcpu placement='static'>8</vcpu>
<cputune>
  <vcpupin vcpu='0' cpuset='0'/>
  <vcpupin vcpu='1' cpuset='1'/>
  <vcpupin vcpu='2' cpuset='2'/>
  <vcpupin vcpu='3' cpuset='3'/>
  <vcpupin vcpu='4' cpuset='4'/>
  <vcpupin vcpu='5' cpuset='5'/>
  <vcpupin vcpu='6' cpuset='6'/>
  <vcpupin vcpu='7' cpuset='7'/>
  <emulatorpin cpuset='16-17'/>
</cputune>
<numatune>
  <memory mode='strict' nodeset='0'/>
</numatune>

# QEMUでvirtioを使用
qemu-system-x86_64 \
  -drive file=disk.qcow2,if=virtio \
  -netdev tap,id=net0,ifname=tap0,script=no \
  -device virtio-net-pci,netdev=net0 \
  -m 4G \
  -smp 4 \
  -enable-kvm

# KSM有効化
echo 1 > /sys/kernel/mm/ksm/run
echo 1000 > /sys/kernel/mm/ksm/pages_to_scan
echo 20 > /sys/kernel/mm/ksm/sleep_millisecs

# Hugepages設定
echo 4096 > /proc/sys/vm/nr_hugepages  # 4096 x 2MB = 8GB

<!-- libvirt XMLでHugepages設定 -->
<memoryBacking>
  <hugepages>
    <page size='1' unit='GiB'/>
  </hugepages>
</memoryBacking>

# SR-IOV VF作成
echo 4 > /sys/class/net/enp3s0f0/device/sriov_numvfs

# VF一覧確認
lspci | grep "Virtual Function"

# IOMMU有効化（GRUB）
# Intel: intel_iommu=on iommu=pt
# AMD: amd_iommu=on iommu=pt

# GPUをvfio-pciにバインド
echo "10de 2204" > /sys/bus/pci/drivers/vfio-pci/new_id

Pre-copyマイグレーションフロー：
1. メモリ全体を宛先ホストに転送
2. 変更されたダーティページを繰り返し転送
3. ダーティページが十分減少したらVM一時停止
4. 残りのダーティページを転送
5. 宛先ホストでVM再開

# virshライブマイグレーション
virsh migrate --live --persistent --undefinesource \
  myvm qemu+ssh://dest-host/system

# マイグレーション速度制限（MB/s）
virsh migrate-setspeed myvm 100

# マイグレーション状態確認
virsh domjobinfo myvm

+--------------------------------------------------+
|  管理ツール                                         |
|  +--------+ +----------+ +---------+ +--------+  |
|  | virsh  | |virt-      | |OpenStack| |oVirt   |  |
|  |        | |manager   | |Nova     | |        |  |
|  +--------+ +----------+ +---------+ +--------+  |
+--------------------------------------------------+
|  libvirt API (C, Python, Go, Javaバインディング)      |
+--------------------------------------------------+
|  libvirtdデーモン                                    |
+--------------------------------------------------+
|  ドライバー                                          |
|  +-----+ +------+ +------+ +-------+ +--------+  |
|  | KVM | | Xen  | | LXC  | | VBox  | | VMware |  |
|  +-----+ +------+ +------+ +-------+ +--------+  |
+--------------------------------------------------+

# VMライフサイクル管理
virsh list --all                    # 全VM一覧
virsh start myvm                    # VM起動
virsh shutdown myvm                 # ゲストOS正常停止
virsh destroy myvm                  # 強制停止（電源断）
virsh reboot myvm                   # 再起動
virsh suspend myvm                  # 一時停止（メモリ状態保持）
virsh resume myvm                   # 再開

# VM作成/削除
virsh define vm.xml                 # XMLでVM定義
virsh undefine myvm                 # VM定義削除
virsh undefine myvm --remove-all-storage  # ストレージも削除

# スナップショット管理
virsh snapshot-create-as myvm snap1 "First snapshot"
virsh snapshot-list myvm
virsh snapshot-revert myvm snap1
virsh snapshot-delete myvm snap1

# リソース調整
virsh setvcpus myvm 4 --live        # vCPUホットアド
virsh setmem myvm 8G --live         # メモリ調整

# コンソール/ディスプレイ接続
virsh console myvm                  # シリアルコンソール
virsh vncdisplay myvm               # VNCポート確認

<domain type='kvm'>
  <name>web-server-01</name>
  <memory unit='GiB'>8</memory>
  <currentMemory unit='GiB'>8</currentMemory>
  <vcpu placement='static'>4</vcpu>

  <os>
    <type arch='x86_64' machine='pc-q35-8.2'>hvm</type>
    <boot dev='hd'/>
  </os>

  <features>
    <acpi/>
    <apic/>
  </features>

  <cpu mode='host-passthrough' check='none' migratable='on'>
    <topology sockets='1' dies='1' cores='4' threads='1'/>
  </cpu>

  <devices>
    <emulator>/usr/bin/qemu-system-x86_64</emulator>

    <!-- virtioディスク -->
    <disk type='file' device='disk'>
      <driver name='qemu' type='qcow2' cache='writeback' discard='unmap'/>
      <source file='/var/lib/libvirt/images/web-server-01.qcow2'/>
      <target dev='vda' bus='virtio'/>
    </disk>

    <!-- virtioネットワーク -->
    <interface type='bridge'>
      <source bridge='br0'/>
      <model type='virtio'/>
    </interface>

    <!-- VNCディスプレイ -->
    <graphics type='vnc' port='-1' autoport='yes' listen='0.0.0.0'/>

    <!-- シリアルコンソール -->
    <serial type='pty'>
      <target port='0'/>
    </serial>
    <console type='pty'>
      <target type='serial' port='0'/>
    </console>
  </devices>
</domain>

# ディレクトリベースのストレージプール
virsh pool-define-as default dir --target /var/lib/libvirt/images
virsh pool-build default
virsh pool-start default
virsh pool-autostart default

# LVMストレージプール
virsh pool-define-as lvm-pool logical \
  --source-name vg_vms --target /dev/vg_vms

# Ceph RBDストレージプール
virsh pool-define-as ceph-pool rbd \
  --source-host mon1.example.com \
  --source-name libvirt-pool \
  --auth-type ceph --auth-username libvirt

# ボリューム管理
virsh vol-create-as default myvm.qcow2 50G --format qcow2
virsh vol-list default
virsh vol-delete myvm.qcow2 default

+------------------------------------------------------------+
|                    Horizon (Dashboard)                       |
+------------------------------------------------------------+
|                    OpenStack API Layer                       |
+------+-------+--------+--------+-------+--------+----------+
| Key- | Nova  |Neutron | Cinder | Glance| Swift  | Heat     |
|stone | Comp- | Net-   | Block  | Image | Object | Orches-  |
| Auth | ute   | work   | Store  |       | Store  | tration  |
+------+-------+--------+--------+-------+--------+----------+
|  RabbitMQ (Message Queue)  |  MariaDB/Galera (Database)    |
+------------------------------------------------------------+
|               Hypervisor (KVM/QEMU)                         |
+------------------------------------------------------------+
|               Physical Infrastructure                       |
+------------------------------------------------------------+

機能：
- トークンベース認証（Fernet, JWT）
- RBAC（ロールベースアクセス制御）
- マルチテナンシー（Project/Domain隔離）
- LDAP/AD連携、SAML/OIDCフェデレーション
- サービスカタログ（エンドポイントレジストリ）

# Keystoneトークン発行
openstack token issue

# プロジェクト/ユーザー管理
openstack project create --domain default myproject
openstack user create --domain default --password-prompt myuser
openstack role add --project myproject --user myuser member

Nova内部構成：
- nova-api: REST APIエンドポイント
- nova-scheduler: VM配置アルゴリズム（FilterScheduler）
- nova-conductor: DBアクセスプロキシ（セキュリティ）
- nova-compute: ハイパーバイザードライバー（libvirt）
- Placement: リソース追跡サービス

# インスタンス作成
openstack server create \
  --flavor m1.large \
  --image ubuntu-22.04 \
  --network internal-net \
  --security-group default \
  --key-name mykey \
  web-server-01

# フレーバー管理
openstack flavor create --vcpus 4 --ram 8192 --disk 80 m1.large

# インスタンス管理
openstack server list
openstack server show web-server-01
openstack server resize web-server-01 m1.xlarge

# ネットワーク作成
openstack network create internal-net
openstack subnet create --network internal-net \
  --subnet-range 10.0.1.0/24 \
  --gateway 10.0.1.1 \
  --dns-nameserver 8.8.8.8 \
  internal-subnet

# ルーター作成
openstack router create main-router
openstack router set --external-gateway external-net main-router
openstack router add subnet main-router internal-subnet

# Floating IP割り当て
openstack floating ip create external-net
openstack server add floating ip web-server-01 203.0.113.10

# セキュリティグループ
openstack security group rule create --protocol tcp \
  --dst-port 80:80 --remote-ip 0.0.0.0/0 default
openstack security group rule create --protocol tcp \
  --dst-port 22:22 --remote-ip 10.0.0.0/8 default

# ボリューム作成と接続
openstack volume create --size 100 data-vol
openstack server add volume web-server-01 data-vol

# スナップショット
openstack volume snapshot create --volume data-vol snap-before-upgrade

# ボリュームタイプ（バックエンド指定）
openstack volume type create --property volume_backend_name=ceph-ssd fast-ssd
openstack volume create --size 50 --type fast-ssd fast-data

# 1. 準備
pip install kolla-ansible

# 2. インベントリ設定
cp /usr/share/kolla-ansible/ansible/inventory/multinode .

# /etc/kolla/globals.yml
kolla_base_distro: "ubuntu"
kolla_install_type: "source"
openstack_release: "2024.2"

kolla_internal_vip_address: "10.0.0.100"
kolla_external_vip_address: "203.0.113.100"

network_interface: "eth0"
neutron_external_interface: "eth1"

enable_cinder: "yes"
enable_cinder_backend_ceph: "yes"
enable_heat: "yes"
enable_horizon: "yes"

# 3. パスワード生成
kolla-genpwd

# 4. ブートストラップ
kolla-ansible -i multinode bootstrap-servers

# 5. 事前検証
kolla-ansible -i multinode prechecks

# 6. デプロイ
kolla-ansible -i multinode deploy

# 7. 後処理
kolla-ansible -i multinode post-deploy

# 8. 確認
source /etc/kolla/admin-openrc.sh
openstack service list

+------------------------------------------------------------+
|  External Network (203.0.113.0/24)                          |
|                        |                                    |
|                  [External Router]                           |
|                        |                                    |
|  Management Network (10.0.0.0/24)                           |
|  +----------+  +----------+  +----------+                   |
|  |Controller|  |Controller|  |Controller|                   |
|  |   Node 1 |  |   Node 2 |  |   Node 3 |                   |
|  +----------+  +----------+  +----------+                   |
|        |              |              |                       |
|  Tunnel Network (10.0.1.0/24) - VXLAN                       |
|        |              |              |                       |
|  +----------+  +----------+  +----------+                   |
|  | Compute  |  | Compute  |  | Compute  |                   |
|  |  Node 1  |  |  Node 2  |  |  Node 3  |                   |
|  +----------+  +----------+  +----------+                   |
|        |              |              |                       |
|  Storage Network (10.0.2.0/24) - Ceph                       |
+------------------------------------------------------------+

Open vSwitch (OVS):
- ソフトウェア仮想スイッチ
- neutron-openvswitch-agentが管理
- 成熟して安定的
- 大規模では性能低下の可能性

OVN (Open Virtual Network):
- OVS上に構築されたSDNソリューション
- 分散型アーキテクチャ（中央エージェント不要）
- ネイティブL3/NAT/DHCP/ACLサポート
- 大規模環境で優れた性能
- OpenStack最新の推奨バックエンド

VXLAN (Virtual Extensible LAN):
- UDPポート4789でL2フレームをL3ネットワークにカプセル化
- 24ビットVNIで最大約1,600万セグメント（VLANは4,096個）
- マルチテナント環境に最適

パケット構造：
+------+------+------+------+---------+------+------+
|Outer | Outer| Outer| VXLAN| Inner   |Inner |Inner |
|Ether | IP   | UDP  |Header| Ether   |  IP  |Payload|
+------+------+------+------+---------+------+------+

DVRなし（集中型）：
  VM -> Compute Node -> [Network Node: L3 Agent] -> External

DVR適用：
  VM -> Compute Node [Local L3 Agent] -> External
  （East-Westトラフィックもローカルで処理）

+------------------------------------------------------------+
|  エフェメラルストレージ                                        |
|  - VM削除時に一緒に削除                                       |
|  - ローカルディスク（高速だが非永続）                            |
+------------------------------------------------------------+
|  永続ブロックストレージ (Cinder)                               |
|  - VMと独立したライフサイクル                                   |
|  - 他のVMに再接続可能                                         |
|  - スナップショット、クローン、暗号化対応                         |
+------------------------------------------------------------+
|  オブジェクトストレージ (Swift)                                 |
|  - REST APIでアクセス                                        |
|  - VMイメージ、バックアップデータの保存                          |
+------------------------------------------------------------+
|  共有ファイルシステム (Manila)                                  |
|  - NFS/CIFS共有                                              |
|  - 複数VMが同時アクセス                                        |
+------------------------------------------------------------+

Ceph + OpenStackマッピング：
- Ceph RBD  -> Cinder（ブロックストレージ）
- Ceph RBD  -> Nova（エフェメラルディスク、ライブマイグレーション）
- Ceph RBD  -> Glance（イメージ保存）
- Ceph RGW  -> Swift API互換（オブジェクトストレージ）
- CephFS    -> Manila（共有ファイルシステム）

# Cephプール作成（OpenStack用）
ceph osd pool create volumes 128
ceph osd pool create images 64
ceph osd pool create vms 128
ceph osd pool create backups 64

# Ceph認証キー作成
ceph auth get-or-create client.cinder \
  mon 'profile rbd' \
  osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images'

<!-- 高性能VM：CPUピンニング + Hugepages + NUMA -->
<domain type='kvm'>
  <vcpu placement='static'>16</vcpu>
  <cputune>
    <vcpupin vcpu='0' cpuset='4'/>
    <vcpupin vcpu='1' cpuset='5'/>
    <emulatorpin cpuset='0-1'/>
  </cputune>
  <numatune>
    <memory mode='strict' nodeset='0'/>
  </numatune>
  <memoryBacking>
    <hugepages>
      <page size='1' unit='GiB'/>
    </hugepages>
  </memoryBacking>
  <cpu mode='host-passthrough'>
    <topology sockets='1' dies='1' cores='16' threads='1'/>
  </cpu>
</domain>

性能順（低い -> 高い）：
1. virtio-net（ソフトウェア仮想化） - 約10Gbps
2. vhost-net（カーネルモードデータパス） - 約15Gbps
3. DPDK（ユーザースペースパケット処理） - 約40Gbps
4. SR-IOV（ハードウェアパススルー） - ネイティブに近い（約100Gbps）

<!-- I/Oスレッド分離（libvirt） -->
<iothreads>4</iothreads>
<disk type='file' device='disk'>
  <driver name='qemu' type='qcow2' cache='none' io='native' iothread='1'/>
  <source file='/var/lib/libvirt/images/vm.qcow2'/>
  <target dev='vda' bus='virtio'/>
</disk>

コントロールプレーンHA：
- 最低3台のコントローラーノード
- HAProxy + Keepalived (VIP)
- Pacemaker/Corosync（クラスター管理）
- Galera Cluster（MariaDB同期レプリケーション）
- RabbitMQミラーリングキュー

データプレーンHA：
- Ceph（三重レプリケーション、ノード障害自動復旧）
- Neutron DVR（ネットワークノードSPOF除去）
- Novaインスタンス HA（Masakari）

# Prometheus + OpenStack Exporter設定
scrape_configs:
  - job_name: 'openstack'
    static_configs:
      - targets: ['openstack-exporter:9198']
  - job_name: 'ceph'
    static_configs:
      - targets: ['ceph-mgr:9283']
  - job_name: 'libvirt'
    static_configs:
      - targets: ['compute1:9177', 'compute2:9177']

# OpenStackデータベースバックアップ
mysqldump --all-databases --single-transaction \
  --routines --triggers > openstack-db-backup.sql

# Cinderボリュームバックアップ（Ceph）
rbd snap create volumes/volume-UUID@backup-20260325
rbd export volumes/volume-UUID@backup-20260325 volume-backup.raw

# Glanceイメージバックアップ
openstack image save --file ubuntu-backup.qcow2 ubuntu-22.04

# Novaインスタンススナップショット
openstack server image create --name "web-server-backup" web-server-01

ローリングアップグレード手順：
1. コントローラーノードを1台ずつアップグレード
   - サービス中断最小化
   - API下位互換性を活用
2. データベースマイグレーション実行
3. コンピュートノードを1台ずつアップグレード
   - VMライブマイグレーションで空ノードをアップグレード
4. Neutronエージェントアップグレード
5. 全サービス検証