systemd 서비스 관리 완벽 가이드: Unit 파일 작성부터 트러블슈팅까지

[Unit]
# 유닛의 메타데이터와 의존성을 정의
Description=서비스 설명
Documentation=https://example.com/docs
After=network.target        # 이 유닛 이후에 시작 (순서)
Requires=postgresql.service  # 이 유닛이 필수 (의존성)
Wants=redis.service          # 이 유닛이 있으면 좋음 (약한 의존성)

[Service]
# 서비스의 실행 방식과 동작을 정의
Type=notify
ExecStart=/usr/bin/myapp --config /etc/myapp/config.yaml
Restart=on-failure

[Install]
# systemctl enable 시 심볼릭 링크 생성 위치
WantedBy=multi-user.target

[Unit]
Description=My Web Application
Documentation=https://wiki.internal.example.com/myapp
After=network-online.target postgresql.service redis.service
Wants=network-online.target
Requires=postgresql.service
ConditionPathExists=/etc/myapp/config.yaml

[Service]
Type=notify
User=myapp
Group=myapp
WorkingDirectory=/opt/myapp

# 환경 변수
EnvironmentFile=-/etc/myapp/env
Environment=LANG=en_US.UTF-8

# 실행
ExecStartPre=/opt/myapp/bin/check-config --validate
ExecStart=/opt/myapp/bin/server --config /etc/myapp/config.yaml
ExecReload=/bin/kill -HUP $MAINPID
ExecStopPost=/opt/myapp/bin/cleanup

# 재시작 정책
Restart=on-failure
RestartSec=5
StartLimitIntervalSec=300
StartLimitBurst=5

# 타임아웃
TimeoutStartSec=30
TimeoutStopSec=30
WatchdogSec=60

# 리소스 제한
MemoryMax=2G
MemoryHigh=1536M
CPUQuota=200%
TasksMax=512
LimitNOFILE=65535

# 보안 강화
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
PrivateDevices=true
ProtectKernelModules=true
ProtectKernelTunables=true
ProtectControlGroups=true
ReadWritePaths=/var/lib/myapp /var/log/myapp
SystemCallFilter=@system-service
SystemCallErrorNumber=EPERM
RestrictNamespaces=true
RestrictRealtime=true
RestrictSUIDSGID=true

# 로깅
StandardOutput=journal
StandardError=journal
SyslogIdentifier=myapp

[Install]
WantedBy=multi-user.target

[Unit]
Description=Initialize application database schema
After=postgresql.service
Requires=postgresql.service
ConditionPathExists=!/var/lib/myapp/.db-initialized

[Service]
Type=oneshot
User=myapp
Group=myapp
ExecStart=/opt/myapp/bin/migrate --apply
ExecStartPost=/usr/bin/touch /var/lib/myapp/.db-initialized
RemainAfterExit=true

TimeoutStartSec=120
StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target

# /etc/systemd/system/myapp.socket
[Unit]
Description=My Application Socket

[Socket]
ListenStream=8080
ListenStream=/run/myapp/myapp.sock
SocketUser=myapp
SocketGroup=myapp
SocketMode=0660

# 연결 큐 크기
Backlog=4096

# 동시 연결 제한
MaxConnections=256
MaxConnectionsPerSource=16

# 소켓 옵션
KeepAlive=true
NoDelay=true

# Accept 모드
# false: 서비스에 소켓 fd 전달 (권장)
# true: 연결당 서비스 인스턴스 생성 (inetd 방식)
Accept=false

[Install]
WantedBy=sockets.target

# /etc/systemd/system/myapp.service
[Unit]
Description=My Application
After=network.target
Requires=myapp.socket

[Service]
Type=notify
User=myapp
Group=myapp
ExecStart=/opt/myapp/bin/server
# 소켓 활성화 시 서비스는 systemd로부터 파일 디스크립터를 전달받음
# sd_listen_fds() 또는 환경변수 LISTEN_FDS로 확인

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

# 소켓 활성화 설정
systemctl enable --now myapp.socket

# 소켓 상태 확인
systemctl status myapp.socket
systemctl list-sockets

# 서비스는 요청이 올 때 자동 시작됨
curl http://localhost:8080/health
systemctl status myapp.service  # active (running)

# /etc/systemd/system/backup-database.timer
[Unit]
Description=Database Backup Timer
Documentation=https://wiki.internal.example.com/backup

[Timer]
# 매일 새벽 2시 실행
OnCalendar=*-*-* 02:00:00

# 서버가 꺼져 있었던 동안 놓친 실행을 부팅 후 수행
Persistent=true

# 실행 시간을 최대 15분 무작위 지연 (여러 서버 동시 실행 방지)
RandomizedDelaySec=900

# 정확한 시간 대신 분 단위 정확도 사용 (전력 절약)
AccuracySec=60

[Install]
WantedBy=timers.target

# /etc/systemd/system/backup-database.service
[Unit]
Description=Database Backup
After=postgresql.service

[Service]
Type=oneshot
User=backup
Group=backup
ExecStart=/opt/backup/bin/pg-backup --full --compress
ExecStartPost=/opt/backup/bin/upload-to-s3

# 백업 실패 시 알림
ExecStopPost=/opt/backup/bin/notify-on-failure

TimeoutStartSec=3600
StandardOutput=journal
StandardError=journal
SyslogIdentifier=db-backup

# 리소스 제한 (백업이 서비스에 영향 주지 않도록)
CPUQuota=50%
IOWeight=10
Nice=19

# 타이머 표현식 테스트
systemd-analyze calendar "*-*-* 02:00:00"
systemd-analyze calendar "Mon..Fri *-*-* 09:00:00"

# 타이머 관리
systemctl enable --now backup-database.timer
systemctl list-timers --all
systemctl status backup-database.timer

# 즉시 실행 (테스트)
systemctl start backup-database.service

[Service]
# === 메모리 제한 ===
MemoryMax=2G           # 절대 상한 (초과 시 OOM Kill)
MemoryHigh=1536M       # 소프트 상한 (초과 시 메모리 회수 압력 증가)
MemorySwapMax=0        # 스왑 사용 금지
MemoryMin=256M         # 메모리 보장 (이 이하로 회수 불가)

# === CPU 제한 ===
CPUQuota=200%          # 최대 CPU 사용량 (200% = 2코어)
CPUWeight=100          # 상대적 CPU 가중치 (기본 100, 범위 1-10000)
AllowedCPUs=0-3        # 허용 CPU 코어 지정

# === I/O 제한 ===
IOWeight=100           # 상대적 I/O 가중치 (기본 100, 범위 1-10000)
IOReadBandwidthMax=/dev/sda 100M   # 읽기 대역폭 제한
IOWriteBandwidthMax=/dev/sda 50M   # 쓰기 대역폭 제한
IOReadIOPSMax=/dev/sda 1000        # 읽기 IOPS 제한

# === 기타 제한 ===
TasksMax=512           # 최대 프로세스(스레드) 수
LimitNOFILE=65535      # 최대 열린 파일 수
LimitNPROC=4096        # 최대 프로세스 수
LimitCORE=0            # 코어 덤프 크기 제한 (0 = 비활성)

# 서비스별 리소스 사용량 확인
systemctl status myapp.service

# cgroup 상세 정보
systemd-cgtop

# 특정 서비스 cgroup 경로 확인
systemctl show myapp.service -p ControlGroup

# 메모리 상세
cat /sys/fs/cgroup/system.slice/myapp.service/memory.current
cat /sys/fs/cgroup/system.slice/myapp.service/memory.max
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events

# CPU 사용률
cat /sys/fs/cgroup/system.slice/myapp.service/cpu.stat

# 특정 서비스 로그
journalctl -u myapp.service

# 실시간 로그 추적 (tail -f 대체)
journalctl -u myapp.service -f

# 최근 N줄
journalctl -u myapp.service -n 100

# 시간 범위 필터
journalctl -u myapp.service --since "2026-03-14 09:00" --until "2026-03-14 12:00"
journalctl -u myapp.service --since "1 hour ago"

# 에러 레벨 이상만
journalctl -u myapp.service -p err

# JSON 출력 (파싱용)
journalctl -u myapp.service -o json-pretty

# 부팅 이후 로그만
journalctl -u myapp.service -b

# 커널 로그 (dmesg 대체)
journalctl -k

# 특정 PID
journalctl _PID=12345

# 디스크 사용량 확인
journalctl --disk-usage

# 오래된 로그 정리
journalctl --vacuum-time=30d   # 30일 이전 삭제
journalctl --vacuum-size=1G    # 1GB 초과 삭제

# 영구 저장 디렉토리 생성
mkdir -p /var/log/journal
systemd-tmpfiles --create --prefix /var/log/journal

# /etc/systemd/journald.conf 설정
# Storage=persistent
# Compress=yes
# SystemMaxUse=2G
# SystemKeepFree=4G
# MaxRetentionSec=90day
# MaxFileSec=1month
# ForwardToSyslog=yes

# 설정 적용
systemctl restart systemd-journald

# 특정 유닛의 의존성 트리
systemctl list-dependencies myapp.service

# 역방향 의존성 (누가 나를 필요로 하는가)
systemctl list-dependencies myapp.service --reverse

# 전체 부팅 순서 시각화
systemd-analyze dot | dot -Tsvg > /tmp/systemd-deps.svg

# 부팅 시간 분석
systemd-analyze blame
systemd-analyze critical-chain myapp.service

# === 서비스 제어 ===
systemctl start myapp.service      # 시작
systemctl stop myapp.service       # 중지
systemctl restart myapp.service    # 재시작
systemctl reload myapp.service     # 설정 리로드 (ExecReload)
systemctl reload-or-restart myapp  # reload 가능하면 reload, 아니면 restart

# === 부팅 시 자동 시작 ===
systemctl enable myapp.service     # 활성화 (심볼릭 링크 생성)
systemctl disable myapp.service    # 비활성화
systemctl enable --now myapp       # 활성화 + 즉시 시작
systemctl is-enabled myapp         # 활성화 상태 확인

# === 상태 확인 ===
systemctl status myapp.service     # 상태, 최근 로그, PID
systemctl is-active myapp          # active/inactive
systemctl is-failed myapp          # failed 여부

# === 유닛 파일 관리 ===
systemctl daemon-reload            # 유닛 파일 변경 후 반드시 실행
systemctl cat myapp.service        # 유닛 파일 내용 출력
systemctl show myapp.service       # 모든 속성 출력
systemctl edit myapp.service       # 드롭인 오버라이드 생성
systemctl edit --full myapp        # 전체 유닛 파일 편집

# === 마스킹 (완전 비활성화) ===
systemctl mask myapp.service       # 어떤 방법으로도 시작 불가
systemctl unmask myapp.service     # 마스킹 해제

# === 전체 시스템 ===
systemctl list-units --type=service --state=failed  # 실패한 서비스
systemctl list-unit-files --type=service            # 설치된 서비스 목록
systemctl --failed                                  # 실패한 유닛 요약

[Service]
Restart=on-failure
RestartSec=5

[Unit]
# 300초(5분) 내에 5번 이상 재시작 시도하면 유닛을 failed 상태로 전환
StartLimitIntervalSec=300
StartLimitBurst=5

# 시작 제한에 도달했을 때의 동작
# none: 아무것도 안 함 (기본)
# reboot: 시스템 재부팅
# reboot-force: 강제 재부팅
# reboot-immediate: 즉시 재부팅
StartLimitAction=none

# 순환 의존성 탐지
systemd-analyze verify myapp.service
journalctl -b | grep "ordering cycle"
systemctl list-dependencies myapp.service

# 잘못된 예 - 동작하지 않음
ExecStart=/opt/app/bin/server | tee /var/log/app.log
ExecStart=/opt/app/bin/server > /dev/null 2>&1

# 올바른 예 - 쉘을 명시적으로 호출
ExecStart=/bin/bash -c '/opt/app/bin/server | tee /var/log/app.log'

# 더 나은 예 - systemd의 로깅 기능 활용
ExecStart=/opt/app/bin/server
StandardOutput=journal
StandardError=journal

# 올바른 설정
[Service]
Type=forking
PIDFile=/run/nginx/nginx.pid
ExecStart=/usr/sbin/nginx
# nginx.conf의 pid 디렉티브가 같은 경로를 가리켜야 함

# EnvironmentFile 앞의 '-'는 파일이 없어도 에러를 무시한다는 의미
EnvironmentFile=-/etc/myapp/env

# '-' 없이 지정하면 파일이 없을 때 서비스 시작이 실패함
EnvironmentFile=/etc/myapp/env

[Service]
# === 필수 보안 옵션 ===
NoNewPrivileges=true          # 권한 상승 방지
PrivateTmp=true               # /tmp 격리
ProtectSystem=strict          # 파일시스템 읽기 전용 (ReadWritePaths로 예외)
ProtectHome=true              # /home, /root, /run/user 접근 차단

# === 커널 보호 ===
ProtectKernelModules=true     # 커널 모듈 로드/언로드 차단
ProtectKernelTunables=true    # /proc/sys, /sys 쓰기 차단
ProtectKernelLogs=true        # /dev/kmsg, /proc/kmsg 접근 차단
ProtectControlGroups=true     # /sys/fs/cgroup 쓰기 차단

# === 네트워크 제한 ===
RestrictAddressFamilies=AF_INET AF_INET6 AF_UNIX   # 허용 소켓 타입
PrivateNetwork=false          # true 시 네트워크 완전 차단

# === 시스템콜 필터링 ===
SystemCallFilter=@system-service
SystemCallErrorNumber=EPERM   # 차단된 시스콜에 EPERM 반환

# === 기타 ===
PrivateDevices=true           # /dev 최소화
ProtectClock=true             # 시스템 시계 변경 차단
RestrictNamespaces=true       # 네임스페이스 생성 차단
RestrictRealtime=true         # 실시간 스케줄링 차단
RestrictSUIDSGID=true         # SUID/SGID 파일 생성 차단
LockPersonality=true          # 실행 도메인 변경 차단
MemoryDenyWriteExecute=true   # W^X 정책 강제

# 서비스 보안 점수 확인
systemd-analyze security myapp.service

# 출력 예시:
#  OVERALL EXPOSURE LEVEL: 2.1 OK
# 점수가 낮을수록 보안이 강화된 상태

# 1단계: 상태 확인
systemctl status myapp.service -l --no-pager

# 2단계: 전체 로그 확인
journalctl -u myapp.service -n 50 --no-pager

# 3단계: 유닛 파일 문법 검증
systemd-analyze verify /etc/systemd/system/myapp.service

# 4단계: 유닛 파일 변경 후 reload 여부
systemctl daemon-reload

# 5단계: 의존성 확인
systemctl list-dependencies myapp.service

# 6단계: 실행 파일 존재 및 권한
ls -la /opt/myapp/bin/server
file /opt/myapp/bin/server

# 7단계: SELinux/AppArmor 차단 여부
ausearch -m AVC -ts recent  # SELinux
journalctl -k | grep apparmor  # AppArmor

# 8단계: 리소스 제한 확인
systemctl show myapp.service -p MemoryMax,CPUQuota,TasksMax,LimitNOFILE

# 실패 카운터 리셋 (StartLimitBurst 도달 후)
systemctl reset-failed myapp.service

# 서비스 강제 중지 (정상 종료 실패 시)
systemctl kill myapp.service
systemctl kill -s SIGKILL myapp.service

# 유닛 파일 변경 사항 반영
systemctl daemon-reload

# 서비스 재시작
systemctl restart myapp.service

# cgroup에 남은 프로세스 확인
systemd-cgls /system.slice/myapp.service

# 드롭인 파일 생성 (에디터 실행)
systemctl edit myapp.service
# /etc/systemd/system/myapp.service.d/override.conf 생성

# 예: 메모리 제한과 재시작 정책 추가
# [Service]
# MemoryMax=4G
# Restart=on-failure
# RestartSec=10

# /etc/systemd/system/myapp.service.d/override.conf
[Service]
# 기존 ExecStart를 변경하려면 먼저 빈 값으로 초기화해야 함
ExecStart=
ExecStart=/opt/myapp/bin/server --config /etc/myapp/production.yaml

# 리소스 제한 추가
MemoryMax=4G
CPUQuota=300%

# 1. 프로세스가 살아있는지 확인
systemctl status myapp.service  # PID 확인
ls -la /proc/PID_NUMBER/fd/     # 열린 파일 디스크립터
strace -p PID_NUMBER -e trace=network  # 네트워크 시스콜 추적

# 2. 포트 리스닝 확인
ss -tlnp | grep myapp

# 3. 메모리/CPU 상태
systemd-cgtop -n 1

# 4. 로그에서 에러 검색
journalctl -u myapp.service -p warning --since "10 min ago"

# 1. enable 상태 확인
systemctl is-enabled myapp.service

# 2. 의존성 타겟 확인
systemctl list-dependencies multi-user.target | grep myapp

# 3. 부팅 순서 분석
systemd-analyze critical-chain myapp.service

# 4. 조건 충족 여부
systemctl show myapp.service -p ConditionResult,AssertResult
journalctl -u myapp.service -b | grep -i condition