国产算力最大的短板:被一座Token工厂补上了？

最近两年，关于AI基础设施讨论最多的是一个单位——P。

比如这家公司的算力有多少P、那座智算中心装了多少张GPU，一跃成了判断实力最直观的方式。地方政府建设智算中心，和大模型公司采购算力，也大多围绕芯片数量和算力规模展开。

但进入Agent时代后，这套计算方式正在改变。IDC数据显示，2025年1月，中国企业级MaaS市场日均Token消耗量约为1.6万亿，到当年12月底已经飙升至9.6万亿；2026年全年Token消耗量预计达到40000万亿，约为2025年的20倍，折合日均接近110万亿。

背后增长动力主要来自多模态模型不断走向成熟与Agent应用规模化落地。Agent扮演的功能与角色逐渐丰富，远不止被动回答问题，而要读取更长的上下文，调用搜索、数据库和外部工具，拆解任务并进行多轮推理。

对此，商汤大装置事业群首席科学家张行程在接受采访时表示，过去聊天场景的模型输入较短、输出较长；到了Agent场景，输入输出比例可能达到100∶1甚至更高，上下文也从数万Token向数十万乃至百万Token跃进。

因此，企业真正购买的不再是抽象算力，而是算力最终能够生产的Token。这就导致企业开始思考：同样一笔预算可以生成多少Token？同样一度电可以支撑多少推理？模型迁移到新芯片需要多长时间？高并发时能否保持稳定？这些也不可避免正成为新的算力账本。

36kr了解到，WAIC 2026期间，商汤大装置分别发布了异构混合推理、全栈适配、算电协同Agent及国产生态计划。它试图回答当国产AI芯片越来越多，如何把不同架构、不同性能的芯片组织起来，变成一套稳定、低成本，甚至能够盈利的Token生产系统？这一切动作也都指向“最懂大模型的AI基础设施”这个定位。

国产算力迈过盈亏线，靠的不是一张更强的卡

过去，国产算力面临的首要问题是“有没有”。随着国产AI芯片公司陆续进入商业化阶段，问题正在转变为“怎么用”。不同芯片采用不同的硬件架构、编译器、算子、通信方式和软件工具链。一个已经在NVIDIA平台上运行的模型，迁移到一款国产芯片上，往往需要重新适配。换一款芯片，又要重新踩一遍坑。

张行程将这项工作称为“苦活”。商汤从2018年开始进行国产芯片适配，逐步把芯片原厂、商汤研发团队、高校和科研机构组织到同一套体系内，并与上海人工智能实验室推动DeepLink开源体系，统一适配不同芯片的算子、编译和异构通信。

同时，Agent也开始被用于解决基础设施自身的问题。过去需要工程师逐个完成的算子迁移、开发和性能调优，如今可以由AI辅助完成。芯片厂商提供底层算子后，商汤大装置在平台上进行自动化迁移和优化，试图降低国产芯片进入新模型、新业务的工程成本。

但适配只是第一步。今年上半年，商汤大装置开始把一项此前跑通的技术推向规模化商业服务：异构混合推理。大模型推理通常可以分成Prefill和Decode两个阶段。Prefill负责读取、理解用户输入的大量上下文，计算密集；Decode则逐个生成Token，对显存带宽、延迟和稳定性要求更高。

在传统方案里，这两个阶段往往由同一种GPU完成。商汤大装置的思路是把任务拆开：让通用国产芯片承担Prefill，把高端芯片留给Decode，再通过统一网络、调度和缓存体系把两者连接起来。通过PD分离、异构组网和系统优化，以较低硬件成本获得更高的整体Token产出。

此外，不同于其他的Token工厂，能实现这样的组合优化与技术落地，还依赖于商汤大装置自建并持有超大规模的AIDC智算中心。商汤科技大装置事业群CTO宣善明表示，国产算力的优化并不只是把模型迁移到一张国产卡上。依托自建的临港AIDC，商汤可以同时改造硬件组合、网络架构和软件系统，尝试不同国产芯片与高端芯片的异构组合。“每一点可能都不是特别长的板，但组合起来，就是平台型的长板。”相比之下，不少算力运营方没有机房物理改造权，软件厂商也难以打通硬件与网络系统，异构混合推理很难真正落地。

这套组合优化的关键，恰恰在于不追求某一张卡在所有任务中做到最好。商汤科技联合创始人、大装置事业群总裁杨帆用铁人三项作比喻：一个游泳运动员独自参加铁人三项未必能取得好成绩，但如果允许三名擅长不同项目的运动员接力，整体成绩可能更高。

同样的逻辑也适用于AI基础设施。大语言模型、视频生成、世界模型、具身智能和AI for Science，对计算、显存和通信的要求并不相同。即使未来由更高端的国产芯片承担Decode，旧一代芯片仍可以负责Prefill或数据生成，新一代芯片承担更复杂的任务，异构组合不会因此消失。

在商汤看来，异构不是国产芯片尚未成熟时的权宜之计，而是在模型和硬件快速迭代、需求尚未收敛时寻找系统最优解的方式。其商业结果已经开始显现，据杨帆透露，国产混推集群目前可以实现正毛利率。

商汤大装置Token服务量也在扩张。据其估计，日均服务量将从2026年初的约4000亿Token，上升至7月底的约2.42万亿，年底目标达到10万亿，约为年初的25倍。

宣善明也坦言，国产算力的商业化不会在训练和推理环节同步发生。目前，国产芯片在模型训练上仍面临较大挑战，相对成熟的闭环更多出现在视频、图文等模型上。相比之下，推理更有可能率先放量：通过PD分离和异构混推，将不同芯片放到各自更擅长的任务中，既能提高整体吞吐，也能撬动国产芯片进入真实业务。

商汤“最懂大模型”的定位，也建立在这种任务拆解能力之上。在杨帆看来，技术知识扩散很快，单一能力很难维持两年以上。更持久的壁垒是组织能否一直比别人快一步，看懂下游模型将往哪里演进，再反向调整基础设施。相比于其他AI企业，商汤拥有一个独特的组织优势：模型团队和基础设施团队的距离足够近。比如商汤大装置首席科学家张行程，同时也参与商汤研究院的工作，两侧团队通过轮岗和共同研发，将模型负载变化快速传递到芯片选型、网络、缓存和调度系统中。

这种端到端能力也延伸到了电力系统。商汤临港AIDC于2024年获评全国首个5A级智算中心。该认证综合考察理论算力、有效算力、算力能效和业务场景支持能力等指标。

传统数据中心通常使用PUE衡量能源效率，但PUE只能反映有多少电被用于IT设备，无法回答这些电最终生产了多少有效Token。极端情况下，为了优化PUE，机房可能让服务器风扇高速运转，GPU却因温度或功耗限制降频，局部指标更好，实际算力产出反而下降。商汤大装置因此提出TPW，即单位电力成本对应的Token产出。

在临港，商汤大装置将储能系统、机房管理系统和算力运营平台打通，根据任务实时性、电价和电网负荷调度算力。离线推理、模型评测和部分预训练任务不需要立即执行，可以转移到电力负荷较低的时间段。比如7月上海电网进行需求响应时，临港数据中心在两小时内释放了75%的用电容量，减少用电约4.6万度。商汤大装置希望借此证明，智算中心不一定只是耗电大户，也可以成为电网中的弹性“容量池”。

但电费目前并不是国内Token业务能否盈利的决定性因素。杨帆判断，算电协同在国内大约可以形成10个百分点的成本差异，其价值到了电价更高的东南亚、中东等海外市场，可能会更加突出。

区域、场景、生态三板斧，让每个人都能用上Token工厂

事实上，中国并不缺建设智算中心的公司，但大量项目的参与者分层、割裂。有人提供机房，有人购买服务器，有人负责组网，有人包销算力，还有人面向最终客户做零售。每一层都需要获得利润，却没有一个主体能够看见全部数据，更无法在模型、芯片、网络、电力和客户任务之间进行联合优化。

杨帆认为，只有真正接触终端流量，根据不同客户、模型和任务进行调度，才有可能找到Token成本的优化空间。

商汤大装置与大厂的差异也由此出现。阿里、火山等大厂同样具备从数据中心到模型和应用的端到端能力，但它们最优质的资源通常会优先服务自身电商、内容和云业务。商汤大装置则愿意面向AI公司、科研机构和产业客户提供高稳定性、高弹性、可扩展的端到端系统服务。

按照杨帆披露的目标，商汤计划建设至少5个万卡国产集群，服务超过200家AI初创组织。选择5个不同组合的万卡集群，而不是建设一个单一架构的十万卡集群，正是为了保留面对不同模型和场景的灵活性。

区域项目则承担着验证商业模式的任务。在盐城，商汤智算中心一期规划3000P算力，并试图通过引入AI企业、产业链资源和基金，形成从基础设施到地方优势产业应用的闭环。中国香港项目计划在2026年底建成第一批算力集群，在2030年前建成具备40000P算力规模的智算中心。

沙特项目仍处于更早期的市场验证阶段。杨帆也承认，2026年AI基础设施出海的重点仍是布局和跑通路径，东南亚、中东目前只有少量项目，更大规模的收入可能要到下一阶段。

除了在沙特、中国香港落地项目外，商汤大装置也在加速探索大量的更创新更有想象力的场景，以此不断拓展国产算力的边界，比如太空算力。在2026 WAIC大会上，商汤大装置与国星宇航共建商汤算力星座，发射卫星进行初步验证。尽管未来两年，太空算力更多处于技术储备和预研阶段。但它在中国依旧拥有高潜在价值，比如解决海外弱网络地区和卫星覆盖场景中的AI服务问题。

为了把技术能力扩大到更多国产软硬件，商汤大装置还联合芯片、核心零部件和AI Infra发起“银河计划”。这一计划要解决两个问题：第一是让国产化不只停留在GPU层面。一台服务器即使使用国产GPU，CPU、内存、光模块和交换机仍可能来自海外，国产CPU与GPU之间也存在适配和联调问题。硬件供应链需要软件、模型和真实应用共同验证，否则所谓“全国产”很容易停留在设备清单上。

第二是为国产算力找到持续需求。具身智能、世界模型、视频生成和AI for Science等公司需要算力，却未必有能力自行完成芯片适配、集群运维和性能优化。商汤希望向它们提供算力、Token和工具，再把这些公司带入城市、科研和产业智能化项目。

东吴证券提出，2026年是“国产AI基础设施规模化商用元年”。从需求端来看，Token市场爆发式增长，供需缺口扩大；DeepSeek V4主动深度适配国产算力，为国产算力加速崛起奠定了基础。

而一家国产AI基础设施服务商，用异构混合推理及端到端服务能力，让更多人看到了国产算力的曙光。

但对于整个国产AI基础设施生态系统来说，未来还有很长的一段路要走。更大的卡点在于，如何能让国产集群真正长期稳定运行，Token成本持续下降，智算中心能否保持足够高的利用率，以及客户是否愿意不断续费。

对商汤大装置来说，他们希望，“最懂大模型的AI基础设施”不只是一句定位，而是把它能翻译成一笔清晰的经济账：每一张卡、每一个机柜和每一度电，最终能够变成有多少人愿意付费的高质量Token。