Nginx 目录结构中的日志文件如何对接第三方日志收集系统

Nginx日志需通过Filebeat/Fluentd采集、syslog直发或rsyslog中转实现转发，推荐结构化JSON格式提升解析效率。

Nginx 本身不内置日志转发能力，它的日志文件（如 /var/log/nginx/access.log 和 error.log）只是普通文本文件。要对接第三方日志收集系统，关键不是“修改目录结构”，而是选择合适的数据采集方式，把日志内容实时、可靠地输送出去。

直接用 Filebeat 或 Fluentd 等轻量 Agent 读取日志文件

这是最常用、兼容性最强的方式，适合 ELK、EFK、Loki、SLS 等主流平台。

1. Filebeat 以 tail 模式监听日志文件变化，支持多行合并、字段解析、TLS 加密传输
2. 配置示例（filebeat.yml）：

   filebeat.inputs:- type: logenabled: truepaths:- /var/log/nginx/access.log- /var/log/nginx/error.logfields:service: nginxlog_type: accessfields_under_root: true
   output.elasticsearch: hosts: ["https://www.php.cn/link/95f00bc44b6f60f6bd75f28170a24740"] username: "filebeat" password: "xxx"

3. 注意：确保 Filebeat 进程有读取 /var/log/nginx/ 的权限；若 Nginx 使用非 root 用户运行（如 www-data），需同步调整日志文件组权限或使用 syslog 方式规避文件权限问题

改用 syslog 协议直发，绕过本地文件

从源头避免写磁盘，降低 I/O 压力，也天然适配 rsyslog、Syslog-ng、Graylog、Splunk 等接收端。

1. 在 Nginx 配置中禁用文件日志，改用 access_log syslog:... 和 error_log syslog:...
2. 例如（TCP 发送至远程 rsyslog 服务器）：

   log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent';access_log syslog:server=192.168.10.50:514,proto=tcp,facility=local7 main;error_log syslog:server=192.168.10.50:514 warn;

3. 优势：零磁盘 IO、无 logrotate 依赖、自动重连（rsyslog v8.20+）、天然支持 severity/facility 分级

配合 rsyslog 做中间转发，增强路由与容错

当需要对日志做过滤、丰富字段、或同时投递多个目标时，本地 rsyslog 是成熟可靠的中转层。

1. Nginx 日志先发给本机 rsyslog（syslog:server=127.0.0.1）
2. rsyslog 根据 facility（如 local7）和 tag（如 nginx_access）做条件路由，再转发到 Kafka、Elasticsearch、或云日志服务
3. 示例转发规则（/etc/rsyslog.d/99-nginx.conf）：

   # 转发 nginx access 日志到 Kafkaif $syslogfacility-text == 'local7' and $programname == 'nginx_access' then {action(type="omkafka" topic="nginx-access" broker="kafka1:9092")stop}

结构化日志 + JSON 格式提升下游解析效率

无论走哪种传输路径，统一输出 JSON 格式能极大简化 Logstash/Grok 或 Elasticsearch ingest pipeline 的处理逻辑。

1. 定义 JSON 日志格式（注意 escape=json）：

   log_format jsonlog escape=json'{''"@timestamp":"$time_iso8601",''"client_ip":"$remote_addr",''"uri":"$uri",''"status":$status,''"bytes":$body_bytes_sent,''"request_time":$request_time,''"upstream_time":"$upstream_response_time",''"user_agent":"$http_user_agent"''}';

2. 搭配 access_log syslog:... 或写入文件后由 Filebeat 读取，都可保持结构一致
3. 下游无需正则解析，直接映射为 ES 字段，减少 CPU 开销和配置错误风险