SPADER：多样感知探索奖励的逐步同行优势用于多答案问答

SPADER：为多答案问答难题提供全新解决方案

大型语言模型（LLM，能理解和生成人类语言的人工智能系统）越来越多地被用作工具增强型智能体，去获取超出自身知识范围的信息。但一个核心问题摆在眼前：当真实世界的查询需要挖掘出一整套有效答案时，现有的方法为什么常常力不从心？这正是多答案问答（Multi-Answer QA）场景下的现实挑战。近日，一篇来自arXiv的论文（编号2606.00593）提出了SPADER（多样感知探索奖励的逐步同行优势）框架，试图打破这一僵局。这确实是一个挺有分量的技术突破，咱们一起来看看它到底解决了什么。

逐步同行优势：给长流程搜索找个“靠谱裁判”

在多答案问答任务中，模型可能要经历十几次甚至几十次工具调用才能找到所有正确答案。问题在于，传统的奖励机制很难对中间步骤做出精准评判——就像一场马拉松，你不能只在终点发奖，对吧？SPADER引入的逐步同行优势机制，说白了，就是让模型自己跟自己比：每走一步，都和“相似状态下采取不同行动的版本”做对比。这样一来，即使搜索结果还没到终点，模型也能明确知道这一步走得对不对。这种细粒度的信用分配，算是解决了一个老大难问题。

多样性探索奖励：为什么模型不能只挑“甜点”吃？

另一个棘手的问题是探索奖励的对齐。很多模型在找答案时，会倾向于先抓住那些高频出现的“简单答案”，然后就停在那里了。凭什么模型不能像人类一样，在找到第一块拼图后还有动力去找第二块？SPADER的多样性感知探索奖励正是为此设计：它不仅仅奖励模型“找到了答案”，更奖励它“找到了不同类别的答案”。举个例子，当模型收集到“苹果”和“香蕉”后，如果再找到“橙子”，获得的奖励会比再找到一个“香蕉”高得多。这就驱动模型持续探索，避免陷入局部最优。没错，这是一个从“奖励数量”到“奖励多样性”的关键转变。

多答案问答：从单点突破到全面覆盖

多答案问答的应用场景其实很广。比如查询“哪些药物可以治疗某种疾病”，或者“列举某次科技峰会的全部参展商”。在传统方法下，模型可能只回答出一两个热门选项就结束了。而SPADER通过上述两项核心机制——逐步同行优势与多样性探索奖励——构建了一个完整的训练框架。实验结果表明，它在覆盖率和搜索效率上都有显著提升。可以说，这是为智能体解决“搜全”而非“搜对”的问题，提供了一条可行的技术路线。

总结

大型语言模型在多答案问答上的表现，很大程度上取决于它能否在长搜索路径中持续探索并精准归因。SPADER的提出，让智能体不再只是一个“问答机器”，而是更像一个懂得策略、会自我评估的探索者。这种从“单答案”到“多答案”的推理能力进化，或许会成为下一代工具增强型智能体的重要基石。