eBPF 관측성 실전 — bpftrace로 시스템의 블랙박스를 열다

                 관측 대상 계층과 eBPF 훅
+------------------------------------------------------------+
| 애플리케이션      <── uprobe / USDT (함수 지연, GC 이벤트)   |
+------------------------------------------------------------+
| 라이브러리(libc)  <── uprobe (malloc, pthread 등)            |
+------------------------------------------------------------+
| 시스템 콜 경계    <── tracepoint syscalls:* (open, read...)  |
+------------------------------------------------------------+
| 커널 서브시스템                                              |
|   VFS/파일시스템  <── kprobe/kfunc (vfs_read 등)             |
|   블록 계층       <── tracepoint block:* (IO 지연)           |
|   네트워크 스택   <── kprobe tcp_* / tracepoint sock:*       |
|   스케줄러        <── tracepoint sched:* (런큐 대기)         |
+------------------------------------------------------------+
| 하드웨어 이벤트   <── perf_event (CPU 사이클, 캐시 미스)      |
+------------------------------------------------------------+

probe /filter/ { action }

probe  : 어디에 붙일 것인가 (tracepoint, kprobe, uprobe, profile...)
filter : 어떤 이벤트만 볼 것인가 (pid == 1234 등, 생략 가능)
action : 무엇을 할 것인가 (출력, 맵에 집계)

sudo bpftrace -e 'tracepoint:syscalls:sys_enter_openat
  { printf("%-16s %s\n", comm, str(args->filename)); }'

sudo bpftrace -e 'tracepoint:syscalls:sys_enter_execve
  { printf("%-16s -> %s\n", comm, str(args->filename)); }'

sudo bpftrace -e 'tracepoint:raw_syscalls:sys_enter
  { @[comm] = count(); }'

sudo bpftrace -e '
tracepoint:syscalls:sys_enter_read { @start[tid] = nsecs; }
tracepoint:syscalls:sys_exit_read /@start[tid]/
  { @usecs = hist((nsecs - @start[tid]) / 1000); delete(@start[tid]); }'

sudo bpftrace -e 'kprobe:tcp_connect
  { printf("%-16s pid=%d\n", comm, pid); }'

sudo bpftrace -e 'tracepoint:block:block_rq_issue
  { @bytes = hist(args->bytes); }'

sudo bpftrace -e 'tracepoint:block:block_rq_issue
  { @[comm] = sum(args->bytes); }'

sudo bpftrace -e 'profile:hz:99 { @[kstack] = count(); }'

sudo bpftrace -e 'software:page-faults:1 { @[comm] = count(); }'

sudo bpftrace -e 'tracepoint:syscalls:sys_enter_kill
  { printf("%s (pid %d) -> pid %d, sig %d\n",
           comm, pid, args->pid, args->sig); }'

sudo bpftrace -l 'tracepoint:syscalls:*' | head -20
sudo bpftrace -lv 'tracepoint:syscalls:sys_enter_openat'   # 인자 구조 확인

# 10ms보다 느린 ext4 연산만 출력
sudo ext4slower-bpfcc 10

# 1초 간격으로 블록 IO 지연 히스토그램 출력
sudo biolatency-bpfcc -m 1

# 컨테이너 포함 전체 TCP 세션 수명 관찰
sudo tcplife-bpfcc

sudo execsnoop-bpfcc      # 예상 밖 프로세스 폭주 여부 (cron, 헬스체크 등)
sudo runqlat-bpfcc 5 1    # CPU 경합: 런큐 대기 분포
sudo biolatency-bpfcc 5 1 # 디스크: IO 지연 분포
sudo tcpretrans-bpfcc     # 네트워크: 재전송 발생 여부
sudo syscount-bpfcc -L -d 5  # 시스콜 지연 톱

usecs               : count     distribution
   128 -> 255       : 1402     |**************************              |
   256 -> 511       : 2012     |****************************************|
   512 -> 1023      : 803      |***************                         |
  1024 -> 2047      : 95       |*                                       |
  ...
 65536 -> 131071    : 41       |                                        |
131072 -> 262143    : 17       |                                        |

# 경로 A: perf 기반
sudo perf record -F 99 -a -g -- sleep 30
sudo perf script | stackcollapse-perf.pl | flamegraph.pl > cpu.svg

# 경로 B: eBPF 기반 (커널 내 집계, 접힌 포맷 바로 출력)
sudo profile-bpfcc -F 99 -af 30 > out.folded
flamegraph.pl out.folded > cpu.svg

# 스레드가 CPU를 내려놓은(블록된) 시간을 스택별로 집계
sudo offcputime-bpfcc -df 30 > offcpu.folded
flamegraph.pl --colors=io offcpu.folded > offcpu.svg

# 특정 컨테이너의 PID를 찾아 그 프로세스만 필터
PID=$(crictl inspect --output go-template \
      --template '{{.info.pid}}' CONTAINER_ID)
sudo bpftrace -e 'tracepoint:syscalls:sys_enter_openat /pid == '$PID'/
  { printf("%s\n", str(args->filename)); }'

# 바이너리에서 추적 가능한 심볼 찾기
sudo bpftrace -l 'uprobe:/usr/local/bin/myapp:*' | grep -i order

# 특정 함수의 지연 히스토그램
sudo bpftrace -e '
uprobe:/usr/local/bin/myapp:process_order { @start[tid] = nsecs; }
uretprobe:/usr/local/bin/myapp:process_order /@start[tid]/
  { @latency_us = hist((nsecs - @start[tid]) / 1000);
    delete(@start[tid]); }'

# 프로세스의 USDT 프로브 나열
sudo bpftrace -lp $(pgrep -o postgres) 'usdt:*' | head

# PostgreSQL 쿼리 시작 추적 (USDT 예)
sudo bpftrace -e 'usdt:/usr/lib/postgresql/16/bin/postgres:query__start
  { printf("query: %s\n", str(arg0)); }'

# 1단계: 지연 분포 확인 — 정말 디스크가 느린가, 얼마나?
sudo biolatency-bpfcc -m 5 3

# 2단계: 범인 프로세스 — 누가 IO를 만들고 있나?
sudo biotop-bpfcc 5

# 3단계: 개별 IO 관찰 — 어떤 파일/패턴인가?
sudo biosnoop-bpfcc | head -50

# 4단계: 파일 레벨로 — 어떤 파일에 읽기/쓰기가 집중되나?
sudo filetop-bpfcc -C 5

# 5단계: 쓰기 유발자 추적 — 페이지 캐시 플러시인가, 직접 쓰기인가?
sudo bpftrace -e 'tracepoint:block:block_rq_issue
  { @[comm, args->rwbs] = count(); }'

# 1단계: 계층 식별 — CPU 대기인가?
sudo runqlat-bpfcc 5 12     # 1분간 12회: 스파이크 시점과 겹치는지

# 2단계: CPU 도둑 찾기 — 누가 갑자기 CPU를 쓰나?
sudo profile-bpfcc -F 99 -af 30 > spike.folded

# 3단계: 블로킹 확인 — 오프CPU 시간은 어디서?
sudo offcputime-bpfcc -df 30 -p $(pgrep -o myapp) > offcpu.folded

# 4단계: GC/뮤텍스 가설 검증 (예: futex 대기 시간 분포)
sudo bpftrace -e '
tracepoint:syscalls:sys_enter_futex { @start[tid] = nsecs; }
tracepoint:syscalls:sys_exit_futex /@start[tid]/
  { @futex_ms = hist((nsecs - @start[tid]) / 1000000);
    delete(@start[tid]); }'

# 1단계: 연결의 수명 관찰 — 닫히지 않는 연결이 있는가?
sudo tcplife-bpfcc -p $(pgrep -o myapp)

# 2단계: 생성 vs 종료 균형 — 어느 쪽이 새는가?
sudo bpftrace -e '
kprobe:tcp_connect { @open[comm] = count(); }
kprobe:tcp_close   { @close[comm] = count(); }
interval:s:10 { print(@open); print(@close);
                clear(@open); clear(@close); }'

# 3단계: 누수 지점의 스택 — 어디서 만들어진 연결이 안 닫히나?
sudo bpftrace -e 'kprobe:tcp_connect /comm == "myapp"/
  { @[ustack] = count(); }'

# 4단계: FD 증가 일반 확인 (소켓이 아닐 수도 있으므로)
sudo opensnoop-bpfcc -p $(pgrep -o myapp) -d 30

sudo bpftrace -e 'kprobe:vfs_read { @ = count(); }
                  interval:s:1 { print(@); clear(@); }'