文件格式转换_html如何批量转为txt文本

html2text命令行工具最稳，因它专为HTML转文本设计，保留语义结构、自动过滤干扰块、支持UTF-8及GBK转码，而“另存为文本”会乱码丢结构，正则删标签易崩，动态内容需Puppeteer预渲染。

直接用 html2text 命令行工具批量转，比 GUI 工具稳、比 Python 脚本快，且默认行为就适合大多数网页文本提取场景。

为什么别用浏览器“另存为文本”或正则删标签

浏览器右键“另存为文本”会丢掉语义结构（比如标题变普通段落）、乱码、换行错乱；document.body.innerText 在控制台执行看似快，但对动态渲染内容不可靠，且无法过滤广告、导航栏、脚注等干扰块。更危险的是用正则匹配 <.></.> 删除标签——HTML 允许属性值含 >、注释含 -->、CDATA 含任意字符，正则必漏删或误删。

常见错误现象包括：

• 转换后整页粘成一行
• 中文显示为 或空格
• 链接变成 [1] 却找不到对应地址
• 表格内容挤在单行里无法阅读

html2text 批量转换的实操要点

html2text 是专为 HTML → plain text 设计的命令行工具，不依赖浏览器，也不解析 CSS，但能识别语义块（如 <h1>、<ul>、<blockquote>）并转为可读格式。

立即学习“前端免费学习笔记（深入）”；

安装后执行批量转换（Linux/macOS）：

for f in *.html; do html2text -utf8 "$f" > "${f%.html}.txt"; done

关键参数说明：

• -utf8：强制按 UTF-8 解码，避免中文乱码（尤其当源文件无 charset 声明时）
• -ss（smart script removal）：自动跳过 JS 渲染生成的广告、推荐位等干扰块
• -b 2：设置列表缩进为 2 空格，提升可读性
• 不加 -nobs（no bullet list），否则 <ul><li> 会失去符号标记

如果 HTML 来自 curl 抓取，先检查响应头：curl -I url | grep charset。若为 gbk，得先用 iconv -f gbk -t utf-8 转码再喂给 html2text。

Python + BeautifulSoup 更适合需要精细控制的场景

当你必须删特定区块（如 <footer>、<nav>）、保留表格结构、或处理多个模板不一致的页面时，BeautifulSoup 更可控。

核心代码片段（非教程式写法）：

from bs4 import BeautifulSoupwith open("input.html", "r", encoding="utf-8") as f:    soup = BeautifulSoup(f, "lxml")for tag in soup.find_all(["script", "style", "nav", "footer", "aside"]):    tag.decompose()text = soup.get_text(separator=" ", strip=True)text = "n".join(line.strip() for line in text.splitlines() if line.strip())

注意点：

• soup.get_text(separator=" ") 防止相邻 <p> 的文字被压成一坨
• 表格需单独处理：soup.find_all("table") 后遍历 tr/td，否则默认压成单行
• lxml 解析器比 html.parser 更鲁棒，尤其对 malformed HTML
• Shadow DOM 或 Web Component 页面，BeautifulSoup 无法读取，得先用 Puppeteer 渲染出静态 HTML

GUI 工具和在线转换器只适合一次性救急

所谓“一键批量转换”的桌面工具或网页服务，底层多数调用 html2text 或 BeautifulSoup 封装，但隐藏了编码、过滤、异常处理逻辑。你无法知道它是否跳过了 <noscript> 内容，也无法确认它把 <code> 块是原样保留还是全删了。

典型问题：

• 拖入 GBK 编码 HTML，输出 TXT 乱码却无提示
• 批量转换中途某文件报错，整个流程中断，也不告诉你哪一文件失败
• 广告模块未过滤，导致每份 TXT 开头都是“欢迎访问 XXX 网站”

真正需要稳定批量处理时，命令行或脚本才是可审计、可复现、可集成进 CI/CD 的路径。最易被忽略的一点：所有方案都假设原始 HTML 是 well-formed 的；而现实中大量网页存在嵌套错误、未闭合标签、编码声明缺失——这时候 html2text 的容错能力，远强于多数 GUI 工具内置的解析器。