Linux socket 绑定多 IP 地址的负载均衡配置实现

Linux中socket绑定多个IP不直接实现负载均衡，而是作为基础：真正的负载均衡依赖策略路由（按源IP分流至不同出口）或SO_REUSEPORT（多进程监听同一端口由内核分发连接）。

Linux 中 socket 绑定多个 IP 地址本身不直接实现负载均衡，但它是构建负载均衡能力的基础环节。真正的负载均衡发生在网络栈或应用层：要么靠内核策略路由将不同源 IP 的流量导向不同出口，要么靠多监听 socket（如 SO_REUSEPORT）让多个进程/线程各自绑定同一端口、由内核分发连接请求。

单网卡绑定多个 IP 地址（基础准备）

这是多数负载均衡方案的前提——让一个网卡拥有多个可对外服务的地址。

• 在 RHEL/CentOS 系统中，复制主网卡配置文件，例如：
  cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0:0
• 编辑 ifcfg-eth0:0，修改 DEVICE=eth0:0、IPADDR=192.168.1.100、NETMASK=255.255.255.0，并确保 ONBOOT=yes
• 如需更多地址，继续创建 eth0:1、eth0:2 等，每份配置对应一个独立 IP
• 重启网络服务：systemctl restart network 或 nmcli connection reload && nmcli connection up eth0

基于 SO_REUSEPORT 的多进程负载均衡

适用于高并发 TCP 服务（如 Web、API），让多个 worker 进程同时监听同一个端口，由内核按哈希分发新连接，天然支持多核并行。

• 要求 Linux 内核 ≥ 3.9，且程序显式启用 SO_REUSEPORT 选项
• 每个进程调用 socket() → setsockopt(fd, SOL_SOCKET, SO_REUSEPORT, &on, sizeof(on)) → bind() 到相同 0.0.0.0:8080 或具体 IP:port
• 无需修改 IP 配置，只要系统有至少一个可用 IP 和端口即可启动多个监听实例
• 优势明显：无用户态分发瓶颈、自动 CPU 亲和、故障隔离强

基于策略路由的多出口分流（按源 IP 负载）

当服务器有多个公网 IP（例如分别接电信、联通），可通过策略路由让不同 IP 发出的流量走不同网关，实现“出向”负载与冗余。

• 在 /etc/iproute2/rt_tables 中添加自定义表，如：
  100 tab_tel
200 tab_cnc
• 为每个 IP 配置独立路由表：
  ip route add default via 202.96.1.1 dev eth0 table tab_tel
ip route add default via 219.141.1.1 dev eth1 table tab_cnc
• 添加规则，指定源 IP 查哪张表：
  ip rule add from 202.96.1.100/32 table tab_tel
ip rule add from 219.141.1.100/32 table tab_cnc
• 应用层可 bind() 到不同 IP 启动服务，其响应包将自然使用对应出口路径

注意网关与回程路径一致性

多 IP 场景下最容易出问题的是响应包走错网关，导致连接失败或被丢弃。

• 不要在多个网卡配置文件中都写 GATEWAY=，只保留一个主网关，其余通过策略路由控制
• 禁用反向路径过滤：echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter，并在 /etc/sysctl.conf 中持久化
• 验证连通性时，用 ping -I 202.96.1.100 www.example.com 指定源 IP 测试
• 必要时配合 iptables -t mangle -A OUTPUT -s 202.96.1.100 -j MARK --set-mark 1 做标记路由增强控制力