パケットの旅 — Linuxカーネル ネットワーキングスタックを追う

        [物理ネットワーク]
              |
              v
+---------------------------+
|       NICハードウェア       |  1. フレーム受信、FCS検証
| (RSSハッシュでRXキュー選択) |  2. RSS: 5-tupleハッシュ -> キュー決定
+---------------------------+
              |
              v  DMA (CPU介入なし)
+---------------------------+
|  RXリングバッファ(記述子)  |  3. カーネルが事前に確保した
|  サイズ確認: ethtool -g    |     メモリへパケットを直接書き込み
+---------------------------+
              |
              v  ハードウェア割り込み (IRQ)
+---------------------------+
|  ハードIRQハンドラ(短い)   |  4. 「パケット到着」だけ記録して
|  napi_schedule() を呼ぶ    |     即座にリターン (数マイクロ秒)
+---------------------------+
              |
              v  NET_RX_SOFTIRQ
+---------------------------+
|   softirq / ksoftirqd     |  5. NAPIポーリング開始
|   net_rx_action()         |     budget分のパケットをまとめて処理
+---------------------------+
              |
              v
+---------------------------+
|   NAPI poll (ドライバ)     |  6. リングバッファからパケットを取り出し
|   sk_buff生成、GROマージ   |     sk_buffに変換、GROで結合
+---------------------------+
              |
              v
+---------------------------+
|   netif_receive_skb()     |  7. プロトコル分岐点
|   (tcpdump/AF_PACKETタップ、|     XDP genericやtc ingressも
|    tc ingressフックの位置)  |     この付近で動作
+---------------------------+
              |
              v
+---------------------------+
|   IP層 (ip_rcv)           |  8. チェックサム、ルーティング判断、
|   netfilter PREROUTING/   |     netfilterフック通過、
|   INPUTフック             |     ローカル宛なら上位へ
+---------------------------+
              |
              v
+---------------------------+
|   TCP層 (tcp_v4_rcv)      |  9. ソケットルックアップ、シーケンス処理、
|   輻輳制御、ACK生成        |     順序再構成、ACK応答
+---------------------------+
              |
              v
+---------------------------+
|   ソケット受信キュー        | 10. sk_receive_queueに積まれ、
|   (sk_rcvbufが上限)        |     待機中のプロセスを起床
+---------------------------+
              |
              v
+---------------------------+
|  アプリケーション read/recv | 11. システムコールでユーザー空間へ
|  (epollイベント発火)       |     データをコピー
+---------------------------+

/* include/linux/skbuff.h から抜粋した概念的構造 */
struct sk_buff {
    struct sk_buff      *next;       /* キュー連結用 */
    struct sock         *sk;         /* 所属ソケット */
    struct net_device   *dev;        /* 受信/送信デバイス */

    unsigned int        len;         /* データ長 */
    __u16               transport_header; /* L4ヘッダオフセット */
    __u16               network_header;   /* L3ヘッダオフセット */
    __u16               mac_header;       /* L2ヘッダオフセット */

    sk_buff_data_t      tail;
    sk_buff_data_t      end;
    unsigned char       *head;       /* バッファの先頭 */
    unsigned char       *data;       /* 現在の層のデータ先頭 */
};

トラフィックが少ないとき:  割り込みモード (レイテンシ最小化)
   パケット到着 -> IRQ -> napi_schedule -> ポーリング
   -> キューが空になればIRQ再有効化

トラフィックが多いとき:  ポーリングモード (スループット最大化)
   IRQは無効のまま -> softirqがbudgetの範囲内で
   リングバッファをポーリングし続ける -> パケットが続く限り
   IRQを再有効化しない

# 1回のnet_rx_actionで処理する総パケット数の上限
sysctl net.core.netdev_budget          # 既定 300
# 1回のnet_rx_actionに使える時間の上限 (マイクロ秒)
sysctl net.core.netdev_budget_usecs    # 既定 2000

# budget枯渇で処理が中断された回数 (3列目: time_squeeze)
cat /proc/net/softnet_stat

# 割り込みcoalescing設定の確認/変更
ethtool -c eth0
ethtool -C eth0 rx-usecs 50 rx-frames 64
# 低レイテンシ重視ならrx-usecsを下げ、スループット重視なら上げます。
# adaptive-rx on にするとNICがトラフィックパターンに応じて自動調整します。
ethtool -C eth0 adaptive-rx on

# RXキュー数の確認と変更
ethtool -l eth0
ethtool -L eth0 combined 8

# キューごとのIRQ確認
grep eth0 /proc/interrupts

# IRQを特定CPUに固定 (irqbalanceを止めて手動制御する場合)
echo 2 > /proc/irq/125/smp_affinity_list   # IRQ 125をCPU2へ

# eth0のrx-0キューのパケットをCPU 0-3へ分散 (ビットマスク f = 0b1111)
echo f > /sys/class/net/eth0/queues/rx-0/rps_cpus

# RPS backlogキューのサイズ (ドロップ防止)
sysctl -w net.core.netdev_max_backlog=16384

# グローバルフローテーブルのサイズ
sysctl -w net.core.rps_sock_flow_entries=32768
# キューごとのフロー数 = グローバル値 / キュー数
echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt

# オフロード状態の確認
ethtool -k eth0 | grep -E "generic-receive|generic-segmentation|tcp-segmentation"

# オン/オフ
ethtool -K eth0 gro on gso on tso on

アプリケーション write/send
        |
        v
+---------------------+
|  ソケット送信バッファ |  sk_sndbufが上限。TCPなら輻輳ウィンドウと
|  (sk_write_queue)   |  受信側ウィンドウが送信レートを決定
+---------------------+
        |
        v
+---------------------+
|  TCP/IP層           |  ヘッダ作成、ルーティング、netfilter OUTPUT
+---------------------+
        |
        v
+---------------------+
|  qdisc (キュー規律)  |  fq_codel(既定)、fq、pfifo_fastなど
|  tcで制御            |  ペーシング、シェーピング、AQMはここ
+---------------------+
        |
        v
+---------------------+
|  ドライバTXリング    |  DMAでNICへ渡す
+---------------------+
        |
        v
|  NIC -> 物理ネットワーク (TSO分割はここで)

# 現在のqdiscを確認
tc qdisc show dev eth0

# fqへ置き換え (BBRペーシングと相性が良い)
tc qdisc replace dev eth0 root fq

# qdisc統計: ドロップ、backlogの確認
tc -s qdisc show dev eth0

通常経路:
  NIC -> DMA -> [skb割り当て] -> GRO -> netif_receive_skb
      -> netfilter -> IP -> TCP -> ソケット  (段階ごとにコスト累積)

XDP経路:
  NIC -> DMA -> [XDPプログラム実行]
                  |-- XDP_DROP: 即座に破棄 (skb割り当てすらなし)
                  |-- XDP_TX:   同じNICから即座に折り返し
                  |-- XDP_REDIRECT: 別のNIC/CPU/AF_XDPソケットへ
                  +-- XDP_PASS: 通常スタックへ通過

# XDPプログラムのロード状態確認
ip link show dev eth0          # prog/xdp表示の有無
bpftool net list

# 高帯域/高RTT環境の例 (/etc/sysctl.d/90-network.conf)
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 262144 134217728
net.ipv4.tcp_wmem = 4096 262144 134217728
net.core.netdev_max_backlog = 16384
net.core.somaxconn = 8192

# 利用可能な輻輳制御モジュールの確認
sysctl net.ipv4.tcp_available_congestion_control

# BBRの有効化 (fq qdiscとの併用を推奨)
modprobe tcp_bbr
sysctl -w net.ipv4.tcp_congestion_control=bbr
sysctl -w net.core.default_qdisc=fq

# 接続ごとの実際の使用アルゴリズムと状態確認
ss -tin | grep -E "bbr|cubic"

NIC -> ホストスタック (IP/netfilter、NAT/conntrack)
    -> ブリッジまたはルーティング判断
    -> vethホスト側エンドへ送信
    -> vethコンテナ側エンドで「再受信」 (softirq再突入)
    -> コンテナnetnsのIP/TCPスタック通過
    -> コンテナ内のソケット

# コンテナのnetnsに入ってインターフェース統計を見る
nsenter -t 12345 -n ip -s link
nsenter -t 12345 -n ss -tin

# conntrackテーブルの飽和確認 (満杯になると新規接続がドロップ)
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max
dmesg | grep conntrack

# 1. NIC/ドライバレベル: ハードウェアカウンタ (ドロップ、エラー、キュー別統計)
ethtool -S eth0 | grep -iE "drop|err|miss|fifo"
ip -s link show eth0          # rx_dropped、rx_missedなど

# 2. softirqレベル: budget枯渇、backlogドロップ
cat /proc/net/softnet_stat    # 1列目処理数、2列目ドロップ、3列目time_squeeze

# 3. プロトコルレベル: スタック内部カウンタの報告
nstat -az | grep -iE "drop|retrans|listen|prune|collapse"
cat /proc/net/snmp            # IP/TCP/UDP基本カウンタ
cat /proc/net/netstat         # TcpExt拡張カウンタ

# 4. ソケットレベル: 接続ごとの状態
ss -tinm                      # TCP内部状態 + メモリ(skmem)
ss -lnt                       # リッスンソケットのacceptキュー使用量(Recv-Q/Send-Q)

# 5. カーネル関数レベル: eBPF
# カーネルがパケットを捨てるすべての地点と理由を追跡 (BCC)
dropwatch または BCCのtcpdrop
bpftrace -e 'tracepoint:skb:kfree_skb { @[args->reason] = count(); }'

ethtool -S eth0 | grep -iE "rx.*(drop|miss|no_buf|fifo)"
ethtool -g eth0      # リングバッファの現在/最大サイズ

awk '{print NR-1, "drops:", strtonum("0x"$2), "squeeze:", strtonum("0x"$3)}' \
    /proc/net/softnet_stat

nstat -az | grep -iE "ListenDrops|ListenOverflows|PruneCalled|RcvCollapsed"
ss -lnt        # リッスンソケットのRecv-QがSend-Q(somaxconn上限)に張り付いていないか

bpftrace -e 'tracepoint:skb:kfree_skb /args->reason > 2/
  { @[args->reason] = count(); } interval:s:5 { print(@); clear(@); }'

ss -ti '( dport = :443 )'    # rttの平均/偏差、retransの確認
ping -c 100 target-host      # 基本RTTと偏差(mdev)

# softirq処理遅延の分布 (BCC)
softirqs -d 10 1
# キュー滞留: qdisc backlogとTXドロップ
tc -s qdisc show dev eth0
# ソケットバッファ滞留: Recv-Q/Send-Qがゼロでない接続
ss -tnp | awk '$2>0 || $3>0'