Nginx Least Connections 算法下如何通过优化 Linux 的 TCP 接收窗口提高吞吐

Nginx least_conn调度依赖TCP接收窗口协同优化：需调大tcp_rmem中间值匹配proxy_buffer_size，关闭tcp_timestamps减少协商开销，并配合健康检查、keepalive和超时设置确保连接状态真实反映后端负载。

Nginx 的 least_conn 算法本身不直接操作 TCP 窗口，但它依赖后端连接的“活跃度”做调度决策。而连接是否真正高效、能否快速建立和传输，底层由 Linux TCP 栈决定——其中接收窗口（rcv_wnd）直接影响数据吞吐节奏。若窗口太小，后端即使空闲，也会因频繁等待 ACK 或被限速而“假忙”，导致 least_conn 误判；若过大且未对齐，又会浪费内存、拖慢响应感知。优化核心是让 TCP 接收窗口与 Nginx 的缓冲行为协同。

让接收窗口匹配 proxy_buffer_size 的实际读取节奏

Nginx 从后端读响应时，每次调用 read() 的大小受 proxy_buffer_size 和内核 socket 接收缓冲区共同约束。如果内核只给 32KB 缓冲，但 Nginx 想一次读 128KB，就会拆成多次系统调用，增加上下文切换开销。

1. 在 /etc/sysctl.conf 中设置：

   net.ipv4.tcp_rmem = 4096 262144 8388608

   中间值 262144（256KB）应 ≥ proxy_buffer_size（如设为 128k），且 ≤ proxy_buffers 总容量（如 8 128k = 1024k）。这样既保证单次 read 足够大，又避免窗口过大导致延迟上升。

2. 重启生效后，用 ss -i | grep :port 查看目标端口连接的 rcv_wscale 和实际 rcv_rtt，确认窗口缩放已启用且稳定。

关闭干扰性时间戳，减少窗口协商开销

TCP 时间戳（tcp_timestamps）用于 RTT 测量和防回绕，但在内网长连接场景下，它会额外占用 12 字节 TCP 头，并可能影响窗口通告效率。

1. 设置 net.ipv4.tcp_timestamps = 0

   这不会禁用窗口缩放（tcp_window_scaling = 1 需保持开启），但能减少握手阶段的协商负担，尤其在高频小包或短生命周期连接中更明显。

配合 keepalive 和健康检查，让 least_conn 看到真实负载

least_conn 只统计 ESTABLISHED 连接数，但若连接卡在接收窗口满、ZeroWindow 状态，或后端应用没及时 recv()，该连接仍被计为“活跃”，算法会误认为节点忙。

1. 启用主动健康检查（如 health_check interval=3 fails=2 passes=2），探测时发送轻量请求并验证响应，及时剔除卡死连接；
2. upstream 中配置 keepalive 32 并搭配 proxy_http_version 1.1; proxy_set_header Connection '';，确保空闲连接可复用，避免短连接反复新建干扰连接数统计；
3. 设置合理超时：proxy_read_timeout 应略大于后端典型响应时间，防止因超时重试造成连接堆积。

验证窗口是否真正起效

单纯改参数不等于生效。关键看两点：

1. cat /proc/net/snmp | grep Tcp: 中 TcpInSeg 与 TcpOutSeg 比值接近 1，说明分段合理，无明显拆包；
2. 用 perf record -e syscalls:sys_enter_read 抓一段时间内 read() 调用频次，对比优化前后——理想情况是调用次数下降 30% 以上，单次读字节数提升。

不复杂但容易忽略