利用层间几何结构聚合LLM中间层提升最终表示

arXiv 论文提出新方法：利用层间几何结构聚合 LLM 中间层以提升最终表示

一篇来自 arXiv 预印本平台（编号：2603.22665v3）的最新论文，对大型语言模型（LLM）的表示学习提出了一个简洁而高效的改进方案。论文标题直指核心：通过利用层间几何结构来聚合 LLM 的中间层，从而提升最终表示的质量。这算是对当前“直接取用最后一层表示”这一标准做法的一次有力挑战。

传统的 LLM 预测普遍依赖最终层的输出作为下游任务的特征输入。但科研人员发现，中间隐藏层其实也编码了丰富且互补的任务相关信息。过去，业界要么针对每个任务费劲地搜索最佳单层，要么使用计算量巨大的注意力机制来学习层间聚合。凭什么要如此复杂？这篇论文给出了一个直接的答案：没必要。

轻量级图神经网络成聚合利器论文的核心创新在于，他们提出将 LLM 各层的表示视为一个完全连通图中的节点，然后利用一个轻量级的图神经网络（GNN）来学习层间的聚合。结果显示，这种基于层间几何结构的简单方法，不仅效率远超那些昂贵的注意力机制，而且最终性能提升也相当显著。这真的让人眼前一亮——复杂度降下来了，效果反而上去了。

为什么 GNN 能在此发挥奇效？关键在于它天然适合处理这种结构化数据。LLM 各层输出的表示向量彼此之间并非孤立，它们在空间中存在特定的几何关系。轻量级 GNN 能有效捕捉这些“层间几何结构”，通过邻居节点的信息传递来优化每个层节点的表示，最终聚合出更强大的最终表示。论文明确指出，这种“不必要的复杂性”其实可以避免。

效率与效果双赢，为 LLM 应用减负咱们可以思考一下，在现实的大模型部署中，效率往往和效果一样重要。论文提出的方法，通过一个极简的 GNN 搞定此前昂贵的多步优化，这确实为开发者提供了一条更实际的路径。它意味着在不大幅增加计算负担的前提下，我们就能获得更好的模型表现。

这项研究揭示了 LLM 内部表示的一种未被充分利用的潜力。利用层间几何结构来聚合 LLM 中间层，提升最终表示，这不仅仅是一个学术上的点子，更为后续优化 LLM 的训练与推理提供了坚实的依据。至少，它证明了在追求性能提升时，咱们或许可以先放下那些复杂的机制，回头看看最简单直接的几何方法。