硬件和推理软件如何让大模型 Token 成本持续降低？

大模型 Token 成本持续下降，并不是因为某一代 GPU 的采购价突然变低，而是整个推理系统在单位时间、单位功率和单位机架内交付了更多有效 Token。评估时如果只看每张 GPU 每小时多少钱，就只看到了成本公式的分子；真正决定经济性的，是同一笔基础设施成本最终能生成多少满足延迟和质量要求的输出。

先把 Token 成本公式说清楚

单位 Token 成本可以近似理解为一定周期内的基础设施总成本，除以该周期交付的有效 Token 数。总成本包括设备折旧、云实例费用、电力、网络、存储、运维和容量冗余；有效 Token 则必须符合服务等级，不能把超时、失败、被取消或质量不合格的输出都算成产能。

因此，价格更高的加速I器不一定产生更高的 Token 成本。只要吞吐提升幅度远大于小时成本增幅，并且功耗、利用率和延迟仍在约束内，单位产出反而会更便宜。NVIDIA 官方页面给出的比较正是这一逻辑：Blackwell 平台的计算小时成本高于 Hopper，但其每 GPU、每兆瓦 Token 吞吐提升更大，最终降低了每百万 Token 成本。

硬件为什么能降低单位成本

第一层来自计算单元。推理中的矩阵乘法可以使用更低精度的数据格式，在可接受的精度损失下，用更少存储和能量完成更多计算。面向推理优化的 Tensor Core、低精度指令和更高算力，使每个时钟周期处理的权重与激活数量增加。

第二层来自高带宽内存。自回归解码往往不是单纯缺少计算，而是频繁读取模型权重和 KV 缓存。更大的显存可以容纳模型、批次和缓存，更高的内存带宽则减少计算单元等待数据的时间。显存容量与带宽不足时，再高的理论浮点性能也难以转化为 Token 吞吐。

第三层是 GPU 间互连。大型模型特别是混合专家模型需要跨卡交换激活并访问不同专家。高带宽、低延迟互连可以降低通信停顿，让更多 GPU 像一个系统协同工作。NVIDIA 对 GB300 NVL72 的说明强调了 72 张 GPU 与机架级 NVLink 结构，这类设计的目标就是提高跨卡专家并行和大上下文推理的效率。

第四层是机架和数据中心工程。供电、散热、网络拓扑与存储路径都会限制实际吞吐。企业购买的是整套系统能持续交付的服务，而不是芯片规格表上的峰值。每兆瓦 Token 数越高，固定电力预算能承载的请求就越多，数据中心的收入能力和容量利用率也越高。

软件优化为何可以在硬件不变时继续降本

推理软件负责把模型图转换成适合目标硬件的执行计划。算子融合会减少中间结果写回显存的次数，优化后的内核能更好地利用计算单元和内存层次；量化则把部分权重与计算降到 FP8、FP4 或整数格式，从而降低带宽与容量压力。

批处理和连续批处理把不同用户请求动态组合，让一次矩阵运算服务更多序列。传统静态批次要等待最慢请求结束，容易留下空洞；连续批处理可以在某条序列完成后立即填入新请求，提高 GPU 的持续利用率。但批次也不能无限增大，因为首 Token 延迟和单用户生成速度会随资源竞争恶化。

KV 缓存管理同样关键。前缀缓存可复用相同系统提示词和公共上下文的计算结果，分页式缓存降低内存碎片，分层存储则把暂时不用的缓存放到更便宜的介质。缓存命中率高时，系统无需为重复前缀反复计算，成本和响应时间都会下降。

预填充与解码的资源特征不同：预填充一次处理大量输入 Token，通常更偏计算密集；解码逐个生成 Token，更容易受内存带宽和交互延迟限制。Dynamo 一类分布式服务框架可以把两阶段解耦到不同资源池，并根据负载路由请求。这样既能分别调优，也能避免一种阶段占满资源拖慢另一种阶段。

官方数字应该怎样解读

NVIDIA 页面列举的一个比较中，GB300 NVL72 相对 HGX H200 可达到约 50 倍的每兆瓦 Token 吞吐，以及接近 35 倍更低的每百万 Token 成本。页面还引用 2026 年 4 月的基准结果，称 GB300 NVL72 在特定交互速度下约为每百万 Token 0.123 美元。

这些数字说明全栈优化可能带来的数量级差异，但不能直接套到所有业务。模型、输入与输出长度、并发、量化精度、延迟目标和功率计价都会改变结果。官方示例使用了明确的平台和工作负载，采购决策必须用自己的模型与流量重测。

页面还给出一个值得关注的软件案例：B200 在 GPT-OSS-120B 上的每百万 Token 成本，据引用基准从发布时的 0.11 美元降到两个月后的 0.02 美元，约改善 5 倍。其意义不是保证每个模型都能获得同样收益，而是说明内核、量化和调度升级可在不更换硬件的情况下继续释放产能。

不能只追求最高吞吐

吞吐、首 Token 延迟、单用户生成速度和并发之间存在帕累托边界。把批次塞得更满，可能提高总 Token 数，却让单个用户等待更久；为保证极低延迟保留大量空闲容量，又会抬高单位成本。因此，成本比较必须固定服务等级，否则两个看似相同的每百万 Token 数并不可比。

输出质量也是约束。激进量化可能改变模型答案，投机解码需要验证接受率，模型路由则可能把困难请求送给能力不足的小模型。真正有意义的指标应是每个成功任务成本，或者在既定质量、延迟和可用性下的每百万有效 Token 成本。

输入和输出 Token 也不应混成一个数字。长上下文应用可能主要消耗预填充资源，长推理任务则把压力放在解码阶段。分别计量两类产出，才能判断优化应优先投入前缀缓存、上下文压缩，还是解码吞吐与调度。

企业如何建立可复现的成本测试

• 选取真实请求分布，而不是只跑单一长度的合成提示词。
• 分别记录输入、输出、缓存命中和被丢弃 Token。
• 固定质量门槛、首 Token 延迟和每用户生成速度。
• 把设备、功率、网络、存储、许可和运维纳入总成本。
• 测试低峰与高峰利用率，并计入容量冗余。
• 按模型版本保存结果，避免软件升级后口径漂移。

还应把软件版本视为生产配置的一部分。驱动、推理引擎、量化方案或调度器的升级都可能改变性能，也可能引入精度回归。上线前需要回放代表性流量，对比答案质量、尾延迟、错误率、显存占用和能耗，而不能只接受平均吞吐变快。

从单机优化走向全栈优化

硬件提供计算、内存与互连上限，软件决定这些资源有多少能被工作负载实际使用。更快的 GPU 若被低效调度、缓存碎片和通信阻塞拖住，成本优势会消失；优秀的软件若运行在带宽不足的硬件上，也无法突破物理瓶颈。Token 降本因此是芯片、机架、网络、运行时和模型共同作用的结果。

持续降本还依赖业务侧治理。减少无效上下文、缓存稳定前缀、为简单请求路由小模型、限制代理重试与最大步骤，往往比单纯升级硬件更快见效。底层每 Token 更便宜之后，代理式工作流也可能消耗更多 Token，若不控制任务规模，总仍会增长。

结论

硬件降低 Token 成本的主要路径，是提高低精度计算、显存带宽、跨卡互连和每瓦吞吐；推理软件则通过算子融合、量化、连续批处理、KV 缓存、阶段解耦和智能路由持续提高利用率。两者协同后，单位基础设施能交付更多符合服务等级的 Token，成本才会真正下降。

NVIDIA 展示的 35 倍和软件侧 5 倍改善具有参考价值，但属于特定平台、模型和基准条件。企业应把它们视为可验证的性能假设，而非通用报价承诺。最终应以自己的请求分布衡量每个成功任务成本，并持续跟踪质量、延迟、功耗与利用率，才能把技术进步转化为稳定的业务收益。