PMC-InterCPT：生物医学交织数据重构多模态持续预训练

PMC-InterCPT：生物医学交织数据重构多模态持续预训练

日前，一篇题为《PMC-InterCPT: Rethinking Biomedical Interleaved Data for Multimodal Continued Pre-training》的预印本论文在 arXiv 上线，直指生物医学多模态模型训练中的一个真实痛点。咱们都知道，从海量科学文献里扒图配文，这活儿听上去挺美，可实际操作起来，问题真不少。论文团队发现，以往那种纯“图像-标题”对的数据组织方式，存在根本性缺陷——很多医学图片的说明文字太短，脱离上下文就几乎没信息量。

关键在哪？在于这些“交织数据”的复杂结构。论文指出，大规模自动提取会引入结构性噪声：缺了说明文字的图片、残留的标记代码、重复的上下文段落，还有那种写了好几段却前言不搭后语的图片描述。这种情况在生物医学领域尤其普遍，因为期刊论文里一张子图可能对应复杂的病理过程，单凭一句“Figure 1”根本说不清。

• 核心问题一：图文对信息量不足。图片标题往往简短且依赖正文，没法独立表达完整语义。
• 核心问题二：数据噪声严重。自动抽取带来的格式错乱，让模型“吃不干净饭”。

PMC-InterCPT 究竟做了什么？它重新审视了生物医学领域的交织数据（interleaved data），并尝试用多模态持续预训练的方式，把这些“脏乱差”的数据重新组织。说白了，就是不再强制把每张图和它括号里的那句话当成唯一匹配，而是把整篇文章的上下文拉进来一起看。这样一来，模型学到的不是“这个图配这个词”，而是“这个图在文章的哪个位置、前后文讲了什么、其他图跟它什么关系”。这思路跟传统方法比，是不是真的更符合人类阅读论文的习惯？

有意思的是，这项研究并没有回避数据清洗的难题。论文坦诚地展示了自动提取带来的各类错误——有的标记残留能把一个段落切成三块，有的多段落图片描述根本不知道在说哪张图。面对这些问题，PMC-InterCPT 的应对策略是“重构”，而不是简单过滤。它试图让模型自己学会区分哪些是有效信息，哪些是噪声，这在多模态持续预训练里算是一个挺大胆的尝试。效果到底能不能跑通？目前论文还在预印本阶段，但方向确实值得关注。