# システムアップデート
sudo apt update && sudo apt upgrade -y

# 必須ビルドツールのインストール
sudo apt install -y build-essential gcc g++ make cmake

# カーネルヘッダーのインストール（NVIDIA ドライバーのビルドに必要）
sudo apt install -y linux-headers-$(uname -r)

# ネットワークツール
sudo apt install -y net-tools curl wget git vim htop

# タイムゾーン設定
sudo timedatectl set-timezone Asia/Seoul

# Secure Boot の状態確認
mokutil --sb-state

# 既存の NVIDIA 関連パッケージを完全に削除
sudo apt-get purge nvidia* -y
sudo apt-get autoremove -y
sudo apt-get autoclean

# 利用可能なドライバー一覧の確認
sudo ubuntu-drivers devices

# 推奨ドライバーの自動インストール
sudo ubuntu-drivers autoinstall

# NVIDIA 公式リポジトリのキーとソースを追加
sudo apt install -y software-properties-common
sudo add-apt-repository ppa:graphics-drivers/ppa -y
sudo apt update

# 特定バージョンのインストール（例：550 バージョン）
sudo apt install -y nvidia-driver-550

# 再起動
sudo reboot

nvidia-smi

# Nouveau ドライバーの無効化
sudo bash -c "echo 'blacklist nouveau' >> /etc/modprobe.d/blacklist-nouveau.conf"
sudo bash -c "echo 'options nouveau modeset=0' >> /etc/modprobe.d/blacklist-nouveau.conf"
sudo update-initramfs -u
sudo reboot

# GUI 環境の停止（サーバーにデスクトップ環境がある場合）
sudo systemctl stop gdm3
# または
sudo systemctl stop lightdm

# .run ファイルの実行
chmod +x NVIDIA-Linux-x86_64-550.120.run
sudo ./NVIDIA-Linux-x86_64-550.120.run

# 利用可能なサーバー用ドライバーの確認
apt list --installed 2>/dev/null | grep nvidia-driver
apt-cache search nvidia-driver | grep server

# CUDA 対応 GPU の確認
lspci | grep -i nvidia

# gcc のインストール確認
gcc --version

# カーネルヘッダーの確認
uname -r
sudo apt install -y linux-headers-$(uname -r)

# CUDA keyring パッケージのインストール
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update

# CUDA Toolkit のインストール（最新バージョン）
sudo apt-get install -y cuda-toolkit

# または特定バージョンのインストール
sudo apt-get install -y cuda-toolkit-12-6

# ~/.bashrc または ~/.zshrc に追加
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

# 適用
source ~/.bashrc

# 複数バージョンのインストール（例：12.4 と 12.6）
sudo apt-get install -y cuda-toolkit-12-4
sudo apt-get install -y cuda-toolkit-12-6

# /usr/local/ 配下のインストール確認
ls /usr/local/ | grep cuda
# cuda -> cuda-12.6（シンボリックリンク）
# cuda-12.4
# cuda-12.6

# update-alternatives でバージョン切り替えを登録
sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-12.4 10
sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-12.6 20

# バージョン切り替え
sudo update-alternatives --config cuda

# インストール確認
nvcc --version

# ドライバーがサポートする CUDA バージョンの確認
nvidia-smi | head -3

# 実際にインストールされている CUDA Toolkit バージョンの確認
nvcc --version

# CUDA keyring が既にインストールされていれば cuDNN パッケージを直接インストールできる
sudo apt-get install -y cudnn

# 特定 CUDA バージョン用の cuDNN インストール
sudo apt-get install -y cudnn-cuda-12

# NVIDIA Developer サイトからダウンロード後
tar -xvf cudnn-linux-x86_64-9.x.x.x_cudaXX-archive.tar.xz

# ファイルコピー
sudo cp cudnn-linux-x86_64-9.x.x.x_cudaXX-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P cudnn-linux-x86_64-9.x.x.x_cudaXX-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

# cuDNN バージョン確認（apt インストール時）
dpkg -l | grep cudnn

# またはヘッダーファイルから直接確認
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

# Miniforge のインストール（Mamba を含む）
wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh
bash Miniforge3-Linux-x86_64.sh -b -p $HOME/miniforge3

# 環境変数の設定
$HOME/miniforge3/bin/mamba init bash
source ~/.bashrc

# ディープラーニング環境の作成
mamba create -n dl python=3.11 -y
mamba activate dl

# PyTorch のインストール（CUDA 12.4 基準 - 公式サイトで最新コマンドを確認）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

# インストール確認
import torch
print(f"PyTorch version: {torch.__version__}")
print(f"CUDA available: {torch.cuda.is_available()}")
print(f"CUDA version: {torch.version.cuda}")
print(f"cuDNN version: {torch.backends.cudnn.version()}")
print(f"GPU: {torch.cuda.get_device_name(0)}")

# TensorFlow のインストール（GPU サポート付き）
pip install tensorflow[and-cuda]

# インストール確認
import tensorflow as tf
print(f"TensorFlow version: {tf.__version__}")
print(f"GPU devices: {tf.config.list_physical_devices('GPU')}")

# Docker 公式リポジトリの設定
sudo apt-get update
sudo apt-get install -y ca-certificates curl gnupg

sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 現在のユーザーを docker グループに追加（sudo なしで使用）
sudo usermod -aG docker $USER
newgrp docker

# NVIDIA Container Toolkit リポジトリの設定
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# パッケージのインストール
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# Docker ランタイムの設定
sudo nvidia-ctk runtime configure --runtime=docker

# Docker の再起動
sudo systemctl restart docker

# GPU アクセステスト
docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu22.04 nvidia-smi

# 特定の GPU のみ使用
docker run --rm --gpus '"device=0"' nvidia/cuda:12.6.0-base-ubuntu22.04 nvidia-smi

# すべての GPU を使用して PyTorch コンテナを実行
docker run --rm --gpus all -it pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime python -c \
  "import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))"

# docker-compose.yml
services:
  training:
    image: pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all # または特定の数：1、2 など
              capabilities: [gpu]
    volumes:
      - ./data:/workspace/data
      - ./models:/workspace/models
    shm_size: '8g' # PyTorch DataLoader の共有メモリ

# 基本的な状態確認
nvidia-smi

# リアルタイムモニタリング（1 秒間隔）
watch -n 1 nvidia-smi

# 特定情報のクエリ
nvidia-smi --query-gpu=name,temperature.gpu,utilization.gpu,memory.used,memory.total --format=csv

# プロセス別 GPU 使用量
nvidia-smi pmon -s um -d 1

# Persistence Mode の有効化（サーバー環境推奨）
sudo nvidia-smi -pm 1

# インストール
sudo apt install -y nvtop

# 実行
nvtop

pip install gpustat

# リアルタイムモニタリング
gpustat -i 1 --color

# OpenSSH サーバーのインストール
sudo apt install -y openssh-server

# SSH サービスの開始と自動起動設定
sudo systemctl enable ssh
sudo systemctl start ssh

# ~/.ssh/config
Host gpu-server
    HostName 192.168.1.100
    User username
    Port 22
    IdentityFile ~/.ssh/id_ed25519
    ForwardAgent yes

# tmux のインストール
sudo apt install -y tmux

# 新しいセッションの作成
tmux new -s training

# セッションのデタッチ：Ctrl+b, d

# セッションへの再接続
tmux attach -t training

# セッション一覧の確認
tmux ls

# Jupyter Notebook ポートフォワーディング（リモート 8888 -> ローカル 8888）
ssh -L 8888:localhost:8888 gpu-server

# TensorBoard ポートフォワーディング（リモート 6006 -> ローカル 6006）
ssh -L 6006:localhost:6006 gpu-server

# 複数ポートの同時フォワーディング
ssh -L 8888:localhost:8888 -L 6006:localhost:6006 gpu-server

# クライアントで鍵を生成
ssh-keygen -t ed25519 -C "your_email@example.com"

# サーバーに公開鍵をコピー
ssh-copy-id -i ~/.ssh/id_ed25519.pub user@gpu-server

# サーバーでパスワード認証を無効化
sudo vim /etc/ssh/sshd_config

PasswordAuthentication no
PubkeyAuthentication yes
PermitRootLogin no

# SSH サービスの再起動
sudo systemctl restart sshd

# UFW のインストールと有効化
sudo apt install -y ufw

# デフォルトポリシー：受信トラフィック拒否、送信トラフィック許可
sudo ufw default deny incoming
sudo ufw default allow outgoing

# SSH を許可
sudo ufw allow ssh

# 特定 IP からのみ SSH を許可（より安全）
sudo ufw allow from 192.168.1.0/24 to any port 22

# ファイアウォールの有効化
sudo ufw enable

# 状態の確認
sudo ufw status verbose

# インストール
sudo apt install -y fail2ban

# 設定ファイルのコピー
sudo cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local

# /etc/fail2ban/jail.local の [sshd] セクションを修正
sudo vim /etc/fail2ban/jail.local

[sshd]
enabled = true
port = ssh
filter = sshd
logpath = /var/log/auth.log
maxretry = 3
bantime = 3600
findtime = 600

# fail2ban の起動
sudo systemctl enable fail2ban
sudo systemctl start fail2ban

# 状態の確認
sudo fail2ban-client status sshd

# inventory.ini
[gpu_servers]
gpu-server-01 ansible_host=192.168.1.101
gpu-server-02 ansible_host=192.168.1.102

[gpu_servers:vars]
ansible_user=ubuntu
ansible_ssh_private_key_file=~/.ssh/id_ed25519

# gpu_server_setup.yml
---
- name: GPU Server Initial Setup
  hosts: gpu_servers
  become: true
  vars:
    nvidia_driver_version: '550'
    cuda_keyring_url: 'https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb'

  tasks:
    # ===== システム基本設定 =====
    - name: Update and upgrade apt packages
      apt:
        update_cache: yes
        upgrade: dist
        cache_valid_time: 3600

    - name: Install essential packages
      apt:
        name:
          - build-essential
          - gcc
          - g++
          - make
          - cmake
          - linux-headers-{{ ansible_kernel }}
          - curl
          - wget
          - git
          - vim
          - htop
          - tmux
          - nvtop
          - net-tools
          - software-properties-common
        state: present

    - name: Set timezone to Asia/Seoul
      community.general.timezone:
        name: Asia/Seoul

    # ===== NVIDIA ドライバーのインストール =====
    - name: Purge existing NVIDIA drivers
      apt:
        name: 'nvidia*'
        state: absent
        purge: yes
      ignore_errors: yes

    - name: Add NVIDIA PPA
      apt_repository:
        repo: ppa:graphics-drivers/ppa
        state: present

    - name: Install NVIDIA driver
      apt:
        name: 'nvidia-driver-{{ nvidia_driver_version }}'
        state: present
        update_cache: yes

    # ===== CUDA Toolkit のインストール =====
    - name: Download CUDA keyring
      get_url:
        url: '{{ cuda_keyring_url }}'
        dest: /tmp/cuda-keyring.deb

    - name: Install CUDA keyring
      apt:
        deb: /tmp/cuda-keyring.deb

    - name: Install CUDA Toolkit
      apt:
        name: cuda-toolkit
        state: present
        update_cache: yes

    # ===== cuDNN のインストール =====
    - name: Install cuDNN
      apt:
        name: cudnn-cuda-12
        state: present

    # ===== Docker のインストール =====
    - name: Install Docker prerequisites
      apt:
        name:
          - ca-certificates
          - curl
          - gnupg
        state: present

    - name: Add Docker GPG key
      shell: |
        install -m 0755 -d /etc/apt/keyrings
        curl -fsSL https://download.docker.com/linux/ubuntu/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg
        chmod a+r /etc/apt/keyrings/docker.gpg
      args:
        creates: /etc/apt/keyrings/docker.gpg

    - name: Add Docker repository
      shell: |
        echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo $VERSION_CODENAME) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null
      args:
        creates: /etc/apt/sources.list.d/docker.list

    - name: Install Docker
      apt:
        name:
          - docker-ce
          - docker-ce-cli
          - containerd.io
          - docker-buildx-plugin
          - docker-compose-plugin
        state: present
        update_cache: yes

    - name: Add user to docker group
      user:
        name: '{{ ansible_user }}'
        groups: docker
        append: yes

    # ===== NVIDIA Container Toolkit のインストール =====
    - name: Add NVIDIA Container Toolkit GPG key
      shell: |
        curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
      args:
        creates: /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

    - name: Add NVIDIA Container Toolkit repository
      shell: |
        curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
      args:
        creates: /etc/apt/sources.list.d/nvidia-container-toolkit.list

    - name: Install NVIDIA Container Toolkit
      apt:
        name: nvidia-container-toolkit
        state: present
        update_cache: yes

    - name: Configure Docker runtime for NVIDIA
      command: nvidia-ctk runtime configure --runtime=docker

    - name: Restart Docker
      systemd:
        name: docker
        state: restarted

    # ===== セキュリティ設定 =====
    - name: Install security packages
      apt:
        name:
          - ufw
          - fail2ban
        state: present

    - name: Configure UFW - deny incoming
      ufw:
        direction: incoming
        policy: deny

    - name: Configure UFW - allow outgoing
      ufw:
        direction: outgoing
        policy: allow

    - name: Configure UFW - allow SSH
      ufw:
        rule: allow
        name: OpenSSH

    - name: Enable UFW
      ufw:
        state: enabled

    - name: Enable fail2ban
      systemd:
        name: fail2ban
        enabled: yes
        state: started

    # ===== GPU Persistence Mode =====
    - name: Enable NVIDIA Persistence Mode
      command: nvidia-smi -pm 1
      ignore_errors: yes

  handlers:
    - name: Reboot server
      reboot:
        reboot_timeout: 300

# Ansible のインストール
pip install ansible

# Playbook の実行
ansible-playbook -i inventory.ini gpu_server_setup.yml

# ドライラン（実際に実行せず確認）
ansible-playbook -i inventory.ini gpu_server_setup.yml --check

1. ハードウェア組み立てと BIOS 設定（Secure Boot 無効化）
    |
2. Ubuntu 22.04/24.04 のインストールと基本パッケージ設定
    |
3. NVIDIA ドライバーのインストール（apt 方式推奨）
    |
4. CUDA Toolkit のインストール（必要なバージョンごとに複数インストール可能）
    |
5. cuDNN のインストール
    |
6. Conda/Mamba 環境構成 -> PyTorch/TensorFlow のインストール
    |
7. Docker + NVIDIA Container Toolkit のインストール
    |
8. セキュリティ設定（SSH Key、UFW、fail2ban）
    |
9. モニタリングツールのインストール（nvtop、gpustat）
    |
10. リモート開発環境の構成（VS Code Remote、tmux）