TensorBench：编译器张量框架编码智能体基准测试

TensorBench：编译器张量框架编码智能体基准测试

日前一项名为TensorBench的基准测试正式发布，专门针对基于编译器张量框架的编码智能体进行评估。该测试包含199个特征添加与重构任务，旨在解决仓库级编码基准中任务难度与评估可靠性难以兼顾的痛点——复杂任务常因代码库庞大且测试覆盖不全而难以准确评分，人工审核又无法规模化。TensorBench依托一个开源编译器张量框架，该框架在PyTorch的基础上增加了对稠密与稀疏张量的一流支持，从而使测试场景更贴近真实AI编译优化流程。

框架与任务设计

TensorBench的底层框架是一个开源的编译器张量系统，专门扩展了PyTorch的张量抽象。它原生支持稀疏格式和密集优化两类张量操作，这为编码智能体提供了丰富的代码修改空间。任务覆盖了新增稀疏格式处理逻辑、优化密集张量计算、变换中间表示（IR）、调整调度器以及运行时系统等核心模块。每个任务都要求智能体在仓库级代码中理解上下文并完成指定改动，避免了单文件测试的局限性。

编码智能体面临的挑战

与传统基准不同，TensorBench的任务往往涉及多个源文件之间的依赖关系。例如，在新增一种稀疏格式时，智能体需要同时修改张量定义、运算内核、调度规则以及测试用例。这种跨模块的改动更接近真实开发场景，但也使得评估可靠性成为关键问题。TensorBench通过设计明确的验收条件（如编译通过、功能测试通过、性能不退化）来实现自动化评分，减少了人为判断的主观性。

测试覆盖范围

从任务类型来看，199个任务中既包括直接的功能添加（如新增稀疏格式支持），也包含代码重构（如优化密集张量的调度路径）。具体涉及的技术领域包括：

• 稀疏张量编码：支持多种稀疏格式的存储与计算
• 密集优化：编译级循环变换、内存布局调整
• 中间表示变换：IR图的优化与重写
• 调度器与运行时：任务调度策略、设备调度逻辑

这些任务均基于真实编译器项目中的实际需求设计，避免了人为拼凑的偏差。

对编码智能体研究的意义

TensorBench填补了现有基准在“编译器张量框架”这一垂直领域的空白。目前多数仓库级基准偏重通用代码修复或Web开发，而缺乏对底层编译与张量计算专业场景的覆盖。该基准的出现，使得研究者可以量化评估智能体在“理解编译优化代码”和“修改底层张量框架”方面的能力，为下一代编码智能体训练提供更有针对性的测试集。同时，其开源的框架和自动化评估流程也降低了其他团队复现和扩展的门槛。