ToolMaze：评估LLM代理应对工具故障的动态重规划与异常恢复

大型语言模型（LLM）代理（能够自主调用外部工具和API的AI系统）在现实使用中频繁遭遇服务宕机、接口变更等工具故障，而现有评测基准几乎只测试理想情况下的表现。新发布的 ToolMaze 基准测试为此提供了量化评估框架，它通过精心设计的任务拓扑和工具扰动分类，首次系统量化了多种工具故障对LLM代理动态重规划与异常恢复能力的影响。

工具故障的现实挑战与评测缺口

现有的集成工具推理（TIR）基准测试通常假定工具调用总能成功，路径规划完全基于预设的“快乐路径”。这意味着当一个代理在调用某个API时出现超时或返回错误，又或者某个数据源被移除时，现有评测无法区分代理是真正进行了新的路径重规划，还是仅仅在盲目试错。ToolMaze 正是为了填补这一空白而设计，它是一个专注于动态路径发现与错误恢复的专门基准测试。

两维设计：从拓扑复杂度到扰动分类

为了从行为上分离“系统性重规划”与“盲打误撞式的试错”，ToolMaze 采用了二维评估设计。第一维基于有向无环图（DAG，一种描述任务依赖关系的结构）设置不同层级的拓扑复杂度，模拟从简单线性链条到复杂多分支协作的任务流。第二维则使用了 2×2 的工具扰动分类，将真实世界中可能遇到的故障划分为四个象限：

• 显式与隐式扰动：显式扰动指工具调用后直接返回错误码或异常信息；隐式扰动则是指工具看似正常返回，但输出数据不完整或逻辑断裂。
• 暂时与永久扰动：暂时扰动在重试几次后可能恢复（如网络波动）；永久扰动则意味着工具不会再恢复正常（如接口下线）。

这种交叉分类让评测能覆盖从简单的“一次性错误”到复杂的“零件永久缺失”等多种故障场景。

评测结果：扰动几乎对全模型构成影响

研究团队对包括GPT系列、Claude系列以及开源模型在内的多个主流LLM代理进行了 ToolMaze 评测。结果清晰地显示，工具扰动几乎让所有对比模型都出现了明显性能下滑。虽然顶尖闭源模型在永久显式扰动（工具彻底无法使用时）还能保持一定的重规划成功率，但在涉及隐式或暂时性扰动（比如工具看起来正常，但返回的结果是错的）的复杂场景下，所有模型的重规划成功率都大幅下降。

动态重规划能力的真实标尺

ToolMaze 的核心价值在于它提供了一个更贴近工程实际的“压力测试”环境。开发者可以直接对照该基准检验自家代理是否具备鲁棒的故障处理逻辑：当工具失效时，是立刻报错终止，还是先判断故障类型，再尝试选用替代工具或修改调用参数。这种从“工具可用”到“工具可能不可用”的评估视角转变，对提升AI代理在自动化运维、复杂服务编排等领域的可靠性至关重要。