LatentSkill：文本技能转LoRA适配器，移除逐步上下文开销

LatentSkill：文本技能转LoRA适配器，移除逐步上下文开销

针对大语言模型（LLM）在每步对话中重复注入文本技能导致上下文膨胀、性能下降的问题，研究团队近日提出一种名为LatentSkill的框架。该框架通过预训练超网络（即一种学习如何生成另一网络参数的神经网络），将文本形式的技能描述转换为可直接插拔的LoRA适配器，从而把技能知识存储于模型权重空间，而非上下文空间，彻底移除每步推理中的技能标记词（token）。这套方法在ALFWorld和Search-QA两项基准测试中完成了验证。

上下文膨胀是当前Agent系统的核心痛点

目前多智能体系统普遍依赖“文本技能”——用自然语言编写的可复用任务流程。每次执行任务，系统都需要将整段技能描述拼接到提示词（prompt）中，导致上下文窗口快速被占满。这不仅增加了推理成本，也限制了同时可加载的技能数量，并且技能内容以明文形式暴露，存在隐私风险。LatentSkill的提出正是为了解决这一系列工程矛盾。

技术方案：权重空间替换文本空间

LatentSkill的核心逻辑可拆解为三步：

1. 文本技能输入经预训练超网络处理，输出一组低秩适配参数（即LoRA矩阵）；
2. 这些参数直接注入模型权重，无需在提示词中保留任何技能原文；
3. 多个技能可以各自封装为独立的LoRA模块，支持按需加载、权重缩放以及模块间组合。

这一机制使得技能调用从“每步读取文本”变成“一次加载权重”，大幅削减了逐轮推理的上下文开销。具体来说，加载后的技能信息不再占用上下文窗口，模型在后续推理中不需要重复读取技能描述，仅靠权重中的参数即可维持任务执行效果。

兼容性与模块化设计

框架保留了LoRA适配器原有的模块化特性。每个技能作为一个独立插件，可在不同模型基座之间迁移，且支持多个技能通过线性组合同时生效。这种设计让开发者无需改动基座模型结构，便能灵活搭配不同任务所需的技能集合。相较于传统方法，LatentSkill在保持推理精度不降的前提下，将技能带来每步上下文的额外开销降至接近于零。

效果验证与适用场景

在ALFWorld（家居任务指令）和Search-QA（搜索问答）两项测试中，LatentSkill取得了与注入文本技能方法可比的结果。对于高频次调用文本技能的Agent系统——例如自动化客服、机器人任务规划、代码生成助手——该框架能有效降低推理成本，并提升技能切换速度。研究团队已将技术细节整理为论文（arXiv:2606.06087v1），供行业进一步参考。

从AI工程角度看，LatentSkill提供了一个将“上下文知识”转化为“参数知识”的技术路径。这为构建更大规模、更低延迟的多技能Agent系统提供了一个可行的基础组件。