如何用正则表达式解析复杂的 log 日志

解析复杂日志的关键是结构化拆解而非全能正则，核心三点：先人工观察样本定结构，再用命名捕获组写正则，最后加预处理和异常兜底；需strip()、跳过空行/注释、合并多行、记录未匹配行，并按语言选适配工具。

解析复杂 log 日志，关键不是写一个“全能正则”，而是用结构化思路把日志拆解清楚、分步处理。核心就三点：先看样本定结构，再写带名分组的正则，最后加预处理和异常兜底。

人工观察前 5–10 行日志，确认固定模式

跳过空行、注释或格式异常行之前，必须亲手读几行原始日志。重点找：

• 时间戳是否统一（如 2026-07-08 14:22:03 或 [08/Jul/2026:14:22:03 +0800]）
• 日志级别位置和写法（INFO、[error]、LEVEL=warn 等）
• 内容分隔符（空格、短横、方括号、竖线等）
• 是否有换行续写、嵌套 JSON、多行堆栈等特殊情况

用命名捕获组写正则，别贪大求全

以常见格式 2026-07-08 14:22:03 INFO - User login failed: invalid token 为例：

推荐写法：^(?P<time>d{4}-d{2}-d{2}s+d{2}:d{2}:d{2})s+(?P<level>w+)s+-s+(?P<content>.*)$

好处是：

• groupdict() 直接得到 {'time': '...', 'level': 'INFO', 'content': '...'}
• 后续加字段（比如 (?P<module>w+)）不破坏已有逻辑
• 比用 $1 $2 $3 更易读、易维护

注意：每行必须先 .strip()，否则首尾空格或换行符会导致匹配失败。

搭配基础预处理，提升健壮性

正则不是万能的，要配合简单文本操作：

• 跳过空行：if not line.strip(): continue
• 跳过注释行：if line.strip().startswith('#') or line.strip().startswith('//')
• 合并多行日志（如 Java 异常堆栈）：遇到非时间戳开头的行，追加到上一条的 content 后
• 记录无法匹配的行：else: error_log.write(f"unmatched: {line}")，方便回溯问题

按语言选合适工具，避免硬扛

不同语言有更贴合的解析路径：

• Python：用 re.match() + groupdict()，配合 with open() 流式读取
• Go：预编译 regexp.MustCompile，返回结构体实例，天然类型安全
• PHP：preg_match() 配合索引数组或命名组，注意 ^ 和 $ 锚点
• C：不用正则库也可用 sscanf 的 %[^]] 提取中括号内时间，轻量高效