Ubuntu Node.js日志中监控性能方法

Ubuntu下通过Node.js日志监控性能的方法

1. 选择合适的日志模块，记录关键性能指标

使用结构化日志库（如Winston、Bunyan）替代console.log，记录应用的性能数据（如请求延迟、内存使用、CPU占用、数据库查询时间等）。例如，用Winston配置JSON格式日志，便于后续解析：

const winston = require('winston');const logger = winston.createLogger({level: 'info',format: winston.format.json(),transports: [new winston.transports.File({ filename: 'logs/performance.log' }), // 性能日志单独存储new winston.transports.File({ filename: 'logs/error.log', level: 'error' })]});// 记录请求处理时间（中间件示例）app.use((req, res, next) => {const start = Date.now();res.on('finish', () => {const latency = Date.now() - start;logger.info('Request Performance', {method: req.method,route: req.route ? req.route.path : req.path,latency: `${latency}ms`,timestamp: new Date().toISOString()});});next();});

这种方式能将性能数据与错误日志分离，便于后续针对性分析。

2. 内置模块监控核心性能指标

利用Node.js内置的process和os模块，定期记录内存、CPU等系统级指标，补充应用层日志：

setInterval(() => {const memoryUsage = process.memoryUsage();const cpuUsage = process.cpuUsage();const osCpuInfo = os.cpus();logger.info('System Performance', {memory: {rss: `${(memoryUsage.rss / 1024 / 1024).toFixed(2)} MB`, // 常驻内存heapUsed: `${(memoryUsage.heapUsed / 1024 / 1024).toFixed(2)} MB`, // 堆内存使用heapTotal: `${(memoryUsage.heapTotal / 1024 / 1024).toFixed(2)} MB` // 堆内存总量},cpu: {process: `${(cpuUsage.user / 1000).toFixed(2)}s`, // 进程CPU时间system: `${(cpuUsage.system / 1000).toFixed(2)}s`, // 系统CPU时间cores: osCpuInfo.length // CPU核心数},timestamp: new Date().toISOString()});}, 5000); // 每5秒记录一次

这些数据能帮助识别内存泄漏（如heapUsed持续增长）或CPU过载（如process.cpuUsage过高）。

3. 日志分析与性能瓶颈定位

使用命令行工具快速分析日志，找出性能异常：

• 统计请求延迟分布：通过awk提取延迟字段并排序，找出最慢的请求：

  awk -F'"latency":' '{print $2}' logs/performance.log | awk -F'ms' '{print $1}' | sort -nr | head -n 10

• 查找高频错误：结合grep过滤错误日志，统计出现次数：

  grep "ERROR" logs/error.log | awk '{print $6}' | sort | uniq -c | sort -nr

• 实时监控日志：用tail -f实时查看性能日志，快速响应异常：

  tail -f logs/performance.log | grep "Request Performance"

这些工具无需额外安装，适合快速排查问题。

4. 第三方工具增强日志监控能力

• PM2：进程管理器，提供日志管理和实时性能监控：

  pm2 start app.js --name "my-app" --log-date-format "YYYY-MM-DD HH:mm Z" # 启动应用并配置日志格式pm2 logs --lines 100 # 实时查看日志（最后100行）pm2 monit # 打开实时监控面板（显示CPU、内存、日志）

• ELK Stack（Elasticsearch+Logstash+Kibana）：集中式日志管理，支持可视化分析：
  • 用Logstash配置Filebeat采集日志：

    input {file {path => "/path/to/logs/performance.log"start_position => "beginning"codec => "json"}}output {elasticsearch {hosts => ["localhost:9200"]index => "nodejs-performance-%{+YYYY.MM.dd}"}}

  • 在Kibana中创建仪表盘，可视化请求延迟、内存使用的趋势图。

5. 结构化日志与指标集成

将日志中的性能数据与Prometheus（时间序列数据库）集成，实现自动化监控与告警：

• 用prom-client库暴露指标端点：

  const promClient = require('prom-client');const httpRequestDuration = new promClient.Histogram({name: 'http_request_duration_seconds',help: 'Request duration in seconds',labelNames: ['method', 'route', 'status'],buckets: [0.1, 0.5, 1, 2, 5] // 定义延迟桶});// 中间件记录请求延迟app.use((req, res, next) => {const start = Date.now();res.on('finish', () => {const latency = (Date.now() - start) / 1000;httpRequestDuration.labels(req.method, req.route?.path || req.path, res.statusCode).observe(latency);});next();});// 暴露/metrics端点app.get('/metrics', async (req, res) => {res.set('Content-Type', promClient.register.contentType);res.end(await promClient.register.metrics());});

• 用Prometheus抓取指标，Grafana创建仪表盘展示请求率、延迟百分位（P90、P99）、错误率等指标，设置告警规则（如延迟超过2秒触发邮件通知）。

6. 日志轮转避免文件过大

使用winston-daily-rotate-file模块自动分割日志文件，防止日志占用过多磁盘空间：

const winston = require('winston');require('winston-daily-rotate-file');const transport = new winston.transports.DailyRotateFile({filename: 'logs/performance-%DATE%.log',datePattern: 'YYYY-MM-DD',maxSize: '20m', // 单个文件最大20MBmaxFiles: '7d' // 保留7天日志});const logger = winston.createLogger({level: 'info',format: winston.format.json(),transports: [transport]});

这样可以保持日志文件的可管理性，便于长期存储和分析。