IPsec 완전 정복 — VPN 터널의 동작 원리부터 구축까지

IPsec (IP Security) = IP 계층(L3)에서 동작하는 보안 프로토콜 스위트

구성요소:
├── AH (Authentication Header): 인증만 (무결성 + 출처 확인)
├── ESP (Encapsulating Security Payload): 암호화 + 인증 (실무에서 99%)
├── IKE (Internet Key Exchange): 키 교환 + SA 협상
└── SA (Security Association): 보안 연결 정보 저장소

SA = 두 장비 간의 "보안 합의서"

포함 정보:
├── SPI (Security Parameter Index): SA 식별자 (32bit)
├── 암호화 알고리즘: AES-256-GCM
├── 인증 알고리즘: SHA-256 HMAC
├── 키 값: 공유 비밀 키
├── 수명: 3600초 또는 100GB
└── 모드: 터널 / 전송

SA는 단방향 → 양방향 통신에는 SA 2개 필요!

[전송 모드 (Transport Mode)]
  호스트 ↔ 호스트 직접 통신
  원본 IP 헤더 유지, 페이로드만 암호화

  ┌──────────┬──────────┬────────────────┐
  │ IP Header│ESP Header│ 암호화된 Payload│
  │ (원본)   │          │                │
  └──────────┴──────────┴────────────────┘

[터널 모드 (Tunnel Mode)] ← Site-to-Site VPN
  게이트웨이 ↔ 게이트웨이 (원본 패킷 전체를 감싸기)
  새 IP 헤더 추가, 원본 IP도 암호화!

  ┌──────────┬──────────┬─────────────────────────┐
  │ 새 IP    │ESP Header│ 암호화된 [원본IP + Data] │
  │ Header   │          │                         │
  └──────────┴──────────┴─────────────────────────┘

ESP 패킷 구조:

┌─────────────────────────────────────────────┐
│ IP Header (새로운, 터널모드)                  │
├─────────────────────────────────────────────┤
│ ESP Header                                  │
│  ├── SPI (32bit): 어떤 SA를 쓸지           │
│  └── Sequence Number (32bit): 재전송 방지   │
├─────────────────────────────────────────────┤
│ ★ 암호화 영역 (Encrypted)                  │
│  ├── 원본 IP Header (터널모드)              │
│  ├── 원본 Payload (TCP/UDP + Data)          │
│  └── ESP Trailer (Padding + Next Header)    │
├─────────────────────────────────────────────┤
│ ESP Auth (ICV): HMAC-SHA256 (무결성 검증)   │
└─────────────────────────────────────────────┘

# ESP 암호화 과정 (의사코드)
from cryptography.hazmat.primitives.ciphers.aead import AESGCM
import os

def esp_encrypt(original_packet, sa):
    """ESP 암호화 (AES-256-GCM)"""
    # 1. SA에서 키와 알고리즘 가져오기
    key = sa.encryption_key  # 256-bit
    spi = sa.spi
    seq = sa.next_sequence_number()

    # 2. ESP Header 생성
    esp_header = spi.to_bytes(4, 'big') + seq.to_bytes(4, 'big')

    # 3. Padding 추가 (블록 크기 맞추기)
    pad_len = (16 - (len(original_packet) + 2) % 16) % 16
    padding = bytes(range(1, pad_len + 1))
    esp_trailer = padding + bytes([pad_len, 4])  # 4 = IP-in-IP

    # 4. 암호화 (AES-256-GCM)
    nonce = os.urandom(12)
    aesgcm = AESGCM(key)
    plaintext = original_packet + esp_trailer
    ciphertext = aesgcm.encrypt(nonce, plaintext, esp_header)  # AAD = ESP Header

    # 5. 새 IP 헤더 + ESP Header + 암호화된 데이터
    new_ip = create_ip_header(sa.tunnel_src, sa.tunnel_dst)
    return new_ip + esp_header + nonce + ciphertext

목적: 안전한 채널 확립 (이후 Phase 2를 보호)

[Initiator]                    [Responder]
    │                              │
    │──── SA Proposal ────────────▶│  암호화/해시/DH 그룹 제안
    │◀─── SA Accepted ────────────│  합의
    │                              │
    │──── DH Public Value ────────▶│  Diffie-Hellman 키 교환
    │◀─── DH Public Value ────────│  양쪽이 같은 비밀 키 도출!
    │                              │
    │──── Auth (PSK/Cert) ────────▶│  사전 공유 키 또는 인증서
    │◀─── Auth ────────────────────│  상호 인증
    │                              │
    ╔══════════════════════════════╗
    ║  IKE SA 수립 (암호화 채널)    ║
    ╚══════════════════════════════╝

IKE SA로 보호된 채널 안에서:

[Initiator]                    [Responder]
    │                              │
    │──── IPsec SA Proposal ──────▶│  ESP/AH, 암호화 알고리즘
    │◀─── IPsec SA Accepted ──────│  합의
    │                              │
    │──── Traffic Selector ────────▶│  어떤 IP/Port 범위를 보호?
    │◀─── Traffic Selector ────────│  합의
    │                              │
    ╔══════════════════════════════╗
    ║  IPsec SA 수립 (x2, 양방향)  ║
    ║  → 실제 데이터 암호화 시작!   ║
    ╚══════════════════════════════╝

# DH 키 교환 — 도청자가 봐도 비밀 키를 알 수 없음!
p = 23  # 큰 소수 (실제: 2048/4096 bit)
g = 5   # 생성자

# Alice
a = 6   # Alice의 비밀 값
A = pow(g, a, p)  # 5^6 mod 23 = 8  → 공개 전송

# Bob
b = 15  # Bob의 비밀 값
B = pow(g, b, p)  # 5^15 mod 23 = 19 → 공개 전송

# 공유 비밀 키 도출 (같은 값!)
alice_secret = pow(B, a, p)  # 19^6 mod 23 = 2
bob_secret = pow(A, b, p)    # 8^15 mod 23 = 2

assert alice_secret == bob_secret  # ✅ 같은 비밀 키!
# 도청자: p=23, g=5, A=8, B=19를 알아도
# a나 b를 모르면 비밀 키 2를 구할 수 없음 (이산 로그 문제)

온프레미스 (192.168.1.0/24)
    │
    ├── Customer Gateway (IPsec)
    │       │
    │       │ ══ IPsec 터널 1 (Active) ══
    │       │ ══ IPsec 터널 2 (Standby) ══
    │       │
    ├── Virtual Private Gateway
    │
AWS VPC (10.0.0.0/16)

# Linux에서 IPsec VPN 설정 (strongSwan)
sudo apt install strongswan

# /etc/ipsec.conf
cat << 'EOF'
conn aws-vpn
    type=tunnel
    auto=start
    left=203.0.113.1          # 로컬 공인 IP
    leftsubnet=192.168.1.0/24 # 로컬 네트워크
    right=52.10.20.30         # AWS VGW IP
    rightsubnet=10.0.0.0/16   # AWS VPC CIDR
    ike=aes256-sha256-modp2048
    esp=aes256-sha256
    keyexchange=ikev2
    authby=secret
EOF

# /etc/ipsec.secrets
echo '203.0.113.1 52.10.20.30 : PSK "MyPreSharedKey123"' | sudo tee /etc/ipsec.secrets

# 시작
sudo ipsec restart
sudo ipsec status