大模型推理成本为何快速下降，模型能力与 Token 价格如何变化？

大模型推理成本快速下降，不是某一项技术单独带来的结果，而是硬件每美元性能、低精度计算、推理引擎利用率、小模型能力、缓存复用和市场竞争同时改善。看价格变化时要区分三件事：每百万 Token 的目录价、达到固定能力水平的价格，以及完成一个真实任务的总成本。前两项大幅下降，不保证第三项按同样比例下降。

“推理成本下降”到底在比较什么

最直观的指标是 API 输入和输出 Token 单价，但它容易把能力不同的模型放在一起。一个便宜模型若要重试三次、读取更多上下文或依赖额外校验，最终任务成本可能高于单价更贵但一次成功的模型。

a16z 的 LLMflation 分析采用另一种口径：选定固定的 MMLU 分数，寻找在不同时间达到该能力所需的最低推理价格。文章观察到，达到相同能力的成本大致呈现每年下降一个数量级的趋势；在更高的 MMLU 83 分段，从 GPT-4 出现后到文章统计时，价格约下降 62 倍。

这种“固定能力价格”比直接比较模型名更合理，因为今天的小模型可能达到几年前大模型的水平。但它仍不是通用真理：MMLU 只覆盖部分知识任务，可能存在训练数据污染，且多轮代理、代码修改、长上下文和工具调用的成本结构完全不同。

硬件价格性能持续提高

新一代加速I器的绝对价格可能更高，但每美元能够提供的矩阵运算、内存带宽和并发吞吐通常更强。Epoch AI 2026 年的数据估计，自 2023 年起，市场每美元购得的 AI 芯片性能平均每年提高约 49%，约 1.7 年翻倍。

硬件收益不会一比一反映到 Token 价格。服务商还要承担内存、网络、供电、冷却、折旧和闲置容量。大模型常受内存带宽限制，而不是只受峰值算力限制；上下文越长，KV cache 占用越大，单卡能够并发的请求越少。

因此，同一代 GPU 上的软件优化可能和换硬件同样重要。只有当调度系统能保持较高批处理效率，并避免显存碎片和频繁数据搬运，峰值硬件性能才会转化为可售出的 Token。

量化为何能显著降低成本

早期推理常使用 16 位数值表示，之后逐步采用 8 位、4 位甚至更低精度。位宽下降后，同一块显存能容纳更大的模型或更多副本，内存读取量减少，专用张量单元也可在单位时间完成更多运算。

a16z 将量化列为成本下降的重要来源，并指出从 16 位走向 4 位理论上可带来至少数倍性能提升。实际收益取决于模型、硬件、量化算法和质量容忍度。某些推理或长文本任务对误差更敏感，不能把所有模型都无损压到相同位宽。

量化收益也存在阶段性。一个精度格式从实验可用到硬件原生支持、框架稳定和大规模部署，需要时间；一旦行业普遍采用，下一轮同量级收益不能自动重复。

推理引擎提升了设备利用率

连续批处理会在请求生成每个 Token 的过程中动态加入或移出序列，减少 GPU 等待。分页式 KV cache 管理降低内存碎片；融合算子减少内核启动和中间读写；推测解码让小模型先生成候选，再由主模型批量验证。

前缀缓存可复用重复的系统提示、工具说明和共享文档。对企业应用而言，相同的长前缀可能在数千次请求中出现，缓存命中能显著减少输入处理费用。路由器还可把简单任务交给小模型，只有复杂请求升级到高能力模型。

这些优化通常不改变模型权重，却能提高每张卡每秒交付的有效 Token。服务商之间的工程差异，也解释了同一个开源模型在不同平台上价格和速度可能相差很大。

小模型为何越来越能打

模型能力不只由参数量决定。更多且更高质量的训练数据、更合理的数据配比、蒸馏、合成数据、后训练和指令优化，使较小模型能够达到过去更大模型的基准水平。参数减少后，每个 Token 所需运算和内存访问下降，推理自然更便宜。

a16z 举例称，统计时已有约十亿参数模型超过三年前 1750 亿参数模型的某些能力。这不意味着小模型在所有任务上全面取代大模型，而是固定能力门槛可以由越来越小的模型满足。

企业的成本优化机会因此从“永远调用最强模型”转为分层：分类、抽取、改写和规则明确的任务使用小模型，复杂推理、开放式研究和高风险决策使用更强模型。

开源与市场竞争压低利润空间

高质量开放权重模型允许多家云平台、自建集群和推理服务提供同类能力。用户更容易迁移，服务商难以长期维持高额溢价。闭源提供商也通过轻量型号、批处理价格、缓存折扣和离线任务争夺价格敏感市场。

价格竞争并非纯粹成本传导。供应商可能战略性降价以获取开发者和调用量，也可能把低端能力商品化，将利润集中到最新、最强、最长上下文或专有工具能力上。因此，固定能力档位的价格下降很快，最前沿档位却可能保持较高价格。

模型能力与价格如何同时变化

可以把市场看成不断向右下移动的能力价格前沿：相同预算能买到更强模型，相同能力需要的预算也更少。但最高能力边界同时向上移动，开发者会把节省的成本用于更长思考、更大上下文和更多代理步骤。

Artificial Analysis 的资料显示，在同一智能分段内价格持续下降；但新的最高能力分段不断出现，使最强模型的绝对价格变化没有中低档那么明显。这是“模型越来越便宜”和“AI 仍可能上涨”同时成立的原因。

用户感受到的输出速度也不只由单 Token 吞吐决定。推理模型可能先生成大量不可见或计费的推理 Token；代理任务还要调用搜索、代码执行和其他模型。每秒 Token 更快，不等于整个任务几秒完成。

为什么 Token 单价下降但可能上升

价格下降会释放需求。以前只摘要一次文档，现在可能对每段做抽取、校验和改写；以前由人触发一次请求，现在代理会自动循环十几步。单次调用更便宜，调用数量和上下文长度却快速增长。

推理模型还会用更多输出或隐藏推理 Token 换取正确率。代码代理需要读取仓库、运行测试、分析失败再修改。每个 Token 的价格可能下降十倍，但一个完整任务的 Token 消耗增长二十倍，总成本反而上升。

这类似网络带宽变便宜后，应用从文字升级到视频，并非用户支出必然归零。更低成本创造了此前不经济的新体验，同时提高了总使用量。

正确的成本公式

单次尝试成本 =
  输入 Token × 输入单价
  + 缓存输入 Token × 缓存单价
  + 输出与推理 Token × 输出单价
  + 工具、搜索、存储和执行费用

任务成本 = 单次尝试成本 × 平均尝试次数

成功任务成本 = 总任务费用 / 达到质量门槛的任务数

比较模型时，至少固定同一数据集、提示、工具、最大重试次数和质量判定。只用目录价乘一次请求的 Token 数，无法反映失败重试、人工复核和延迟造成的成本。

企业如何利用下降趋势

先按任务建立质量门槛，再做模型路由。低风险任务优先使用达到门槛的最低成本模型；高风险任务使用更强模型或双模型校验。对重复前缀启用缓存，对非实时任务使用批处理，对长文档先检索再送入相关片段。

记录输入、输出、缓存命中、延迟、成功率和人工修正时间。每次模型升级都跑固定评测，防止目录价下降但质量退化导致更多返工。预算告警应按业务任务而非只按 Token 设置。

哪些趋势不能简单外推

a16z 的“每年约十倍”是基于特定时间、模型和 MMLU 能力点的历史拟合，不是到 2030 年的价格承诺。量化空间会遇到质量边界，内存带宽和能源可能成为瓶颈，先进芯片供应也可能限制降价。

另一方面，新架构、专用芯片、稀疏模型和更好的训练方法可能继续带来突破。合理做法是为未来价格设置多种情景，而不是使用单一指数曲线预测产品毛利。

如何读懂价格表

输入和输出价格通常不同，输出往往更贵；缓存读取、批处理和实时 API 可能使用不同费率。长上下文还可能触发分段价格或降低吞吐。比较时应统一币种、每百万 Token 单位和输入输出比例。

模型别名可能随时间更新，固定版本和滚动别名的质量也可能不同。生产系统应记录实际模型标识与请求日期，并在价格变化后重新计算，不要把一张旧截图当成长期合同。

最终结论

大模型推理成本下降来自硬件、量化、软件利用率、小模型进步和竞争的叠加。历史数据表明，达到固定能力的价格曾以极快速度下降，但不同任务和最高能力层的下降并不均匀。

真正值得关注的不是 Token 会不会便宜到“无限使用”，而是每单位业务结果需要多少总成本。随着模型能力提高，应用会主动消耗更多 Token 完成更复杂的任务。只有用成功任务成本、质量和延迟共同衡量，才能把价格下降转化为真实生产力，而不是更便宜地制造更多无效调用。