2026 年企业采购 AI 算力时，最常被拿来比较的一个数字是"每百万 token 多少钱"。这个数字看起来客观，实际上只在三个隐藏前提同时成立时才可比：机器跑满、电费忽略、模型和服务完全相同。真实的企业环境里，这三条几乎一条都不成立——机器利用率常年不到三成，电费被算进"机房成本"这一大科目里没人分摊，同一个模型在不同推理框架、不同批大小、不同上下文长度下的吞吐能差出数倍。于是出现一个很常见的错判：按 API 单价选了"更便宜"的方案，年底一算，单位有效产出的成本反而更高。
要把这笔账算对，需要一个不同于"单价"的坐标系：每瓦 token（tokens per second per watt）和每美元 token（tokens per dollar）。前者决定电费和机柜能不能撑住，后者决定总拥有成本。本文用 MLPerf Inference v6.0、MLPerf Power 的测量方法、Uptime Institute 的 PUE 与机柜密度调查，以及厂商公开的每 token 成本口径，把这套换算讲清楚，最后给出一张企业可以直接用的选型清单。
一、"每百万 token 单价"漏掉了什么
先看这个单价的定义：它通常等于"单位时间总成本 ÷ 单位时间产出 token 数"。分子里该有什么，决定了这个数字可不可信。多数公开报价的分子只包含"算力租用"，不含网络、存储、冷却、闲置和运维；分母则是"理想吞吐"，也就是在特定批大小、特定输入输出长度下的峰值。
漏掉的第一项是电。Uptime Institute 2025 年的全球数据中心调查给出的行业平均 PUE 是 1.54，2026 年的调查进一步降到 1.52——意思是 IT 设备每消耗 1 度电，机房整体要消耗大约 1.52 度。这个 0.52 的差额来自冷却、配电损耗和照明，它不进芯片的规格书，但进电费单。行业里做得最好的设施能把 PUE 压到 1.1 附近（Google 全 fleet 约 1.09、Meta 约 1.08），而超过四分之一的数据中心已经服役 15 年以上，这些老设施的 PUE 明显高于均值。同一张 GPU，放在 PUE 1.1 的新机房和 PUE 1.6 的老机房里，电费能差四成以上。
漏掉的第二项是利用率。一台为峰值预留的推理服务器，真实业务里每天可能只有几个小时在跑。硬件的折旧是按 24 小时摊的，电费里也有一部分是待机功耗，但产出的 token 只在那几个小时里发生。利用率从 60% 掉到 20%，单位 token 的成本不是涨三倍，而是涨得更多——因为待机、预热、扩容预留这些固定项不会跟着缩。
漏掉的第三项是"有效 token"。模型输出的 token 不等于被业务接受的 token：重试、幻觉导致的返工、超长上下文里被浪费的部分，都要计入分母的"无效消耗"。这一点我们在另一篇讲单位经济学的文章里拆过，这里只强调一句：能效比的分子分母都必须用"有效产出"来算，否则省下来的电费可能只是把成本挪到了人工复核上。
二、新坐标系：每瓦 token 与每美元 token
把上面三项补进去，会得到两个更有用的指标。
每瓦 token（tokens/s/W）衡量的是"这块芯片在单位功耗下能产出多少 token"，它直接对应机柜功率预算。2026 年这件事变成硬约束：Uptime 的调查显示，行业最普遍的机柜功率密度首次突破 11 千瓦，剔除少数 AI 高密度机房后，普通机房的平均机柜密度只有 7.8 千瓦；82% 的受访者表示自己最高密度的机架不超过 30 千瓦，只有 9% 报告有 50 千瓦以上的机架。换句话说，即使你买到了能效更高的卡，机房也未必接得住——100 千瓦以上的机架在美国只有个位数百分比的数据中心能支持。这就是为什么"每瓦 token"必须和"你的机柜能供多少电"一起看。
每美元 token（tokens/$）衡量的是总拥有成本，分子包括硬件折旧、电费、机房分摊、网络、运维和人力，分母是有效 token。它才是 CFO 关心的数字，也是"自建还是用云"的唯一正确比较口径。
两者不能互相替代。一块每瓦 token 很高的芯片，如果价格贵到折旧摊不下来，每美元 token 可能并不优；反过来，便宜的卡如果功耗高、需要更多机柜和冷却，机房侧的成本会把省下的采购价吃回去。2026 年的芯片规格正好处在这个交叉点上：从公开规格看，单卡热设计功耗从 A100 的 400 瓦、H100 的 700 瓦，一路走到 B200 级别的 1000 瓦以上，下一代产品被普遍预期在 1500 瓦量级。单卡功耗翻倍，意味着同样的机柜功率能装的卡更少，"每瓦能出多少 token"从选型加分项变成了准入门槛。
三、行业已经开始按"每 token 成本"排名
这种口径转变在基准测试里看得很清楚。MLPerf Inference v6.0 在 2026 年 4 月发布，除了传统的吞吐与延迟指标，新增了多模态、视频生成、推荐系统等工作负载；NVIDIA 在解读里直接把结论写成"最低的每 token 成本"，并给出按 GPU 归一化的性能对比——同一代平台在 v5.1 到 v6.0 之间，单芯片性能在多个模型上有明显跃升。厂商自己给出的另一组口径更直白：在 InferenceX 2026 年第一季度的测试里，某个 1200 亿参数开源模型在特定配置下的推理成本做到每百万 token 0.02 美元，相当于该平台上市首日成本的五分之一。这类数字要谨慎读——它是厂商自测、特定模型、特定批大小，但它说明的趋势是确定的：竞争焦点已经从"峰值算力"转到"单位 token 成本"。
更值得关注的是测量方法本身。MLPerf Power 把能效测量从微瓦级做到兆瓦级，覆盖加速器、整机、整机柜乃至整个数据中心，并规定了功耗采样与口径。这意味着"每瓦 token"不再是一个可以随口宣称的营销数字，而是有可复现方法的工程指标。对企业采购来说，这带来的实际好处是：你可以在招标文件里直接要求供应商提供"在指定模型、指定延迟约束下的 tokens/s 与整机功耗"，而不是只听"我们的卡更快"。
四、把电费折进 token 单价：一笔可以照着算的账
下面用一个明确标注假设的例子，把"每瓦 token"落到"每百万 token 多少钱"。
假设一台 8 卡推理服务器，单卡功耗 1000 瓦，加上 CPU、内存、网卡和风扇，整机 IT 功耗约 10 千瓦；机房 PUE 1.54，则设施侧功耗约 15.4 千瓦；工业电价按 0.08 美元每度计算，这台机器每小时电费约 1.23 美元。再假设在目标模型、目标延迟约束下，这台机器的稳定吞吐是每秒 3000 个 token（这个数字必须实测，不能拿峰值代替），满负载一小时产出约 1080 万 token，电费摊到每百万 token 约 0.11 美元。
硬件折旧是更大的那一块。假设整机采购价 30 万美元、按三年折旧、不考虑残值，每小时折旧约 11.4 美元；满负载下摊到每百万 token 约 1.06 美元。两项相加，满负载的"硬成本"约 1.17 美元每百万 token。现在把利用率换成 20%：同样的电费与折旧，产出只剩 216 万 token，每百万 token 的成本跳到约 5.9 美元——是满负载时的五倍。这个对比说明，对自建推理来说，"利用率"这个运营指标对单位成本的影响，远大于芯片之间那 20% 到 30% 的能效差异。
这也解释了为什么大量企业自建推理算不过云 API：不是硬件买贵了，是负载没有填满。公开报价里，开源模型托管推理已经出现每百万 token 零点几美分到几美分不等的区间，当你的自建集群利用率不到三成时，硬成本就已经高于这个区间，再叠加运维人力和模型迭代带来的硬件过时风险，账更难平。
五、PUE 不是机房的事，是 AI 预算的事
很多企业把 PUE 当成基础设施团队的 KPI，和 AI 预算分得很开。这是个组织问题，也是个算账问题。按上面的例子，PUE 从 1.54 降到 1.2，设施功耗从 15.4 千瓦降到 12 千瓦，电费从每小时 1.23 美元降到 0.96 美元，一年按 8000 小时满载算，差出约 2160 美元——单台机器看起来不多，但一个 100 台规模的集群就是 20 万美元级别的年度差额，而且这部分节省不需要换任何硬件。
更现实的是"接不上电"的问题。当单机柜功率从 10 千瓦走向 50 千瓦甚至 100 千瓦，制冷方式必须从风冷转向液冷，配电要从传统交流架构改造，这些都不是"加钱就能立刻有"的能力。行业数据显示，AI 芯片的液冷渗透率正在快速上升，2026 年被普遍预期超过一半；而能够支持 100 千瓦以上机架的存量数据中心极少。对企业的实际含义是：如果你的 AI 计划依赖自建，机房改造的周期和成本必须提前进预算，别把它留到"服务器到货那天"才发现装不下。
还有一层容易被忽略：电力成本的地域差异。同样的机柜，在不同电价区域运行，电费可能相差一倍以上；而"把训练放在电价低的地方、把推理放在离用户近的地方"这种分层部署，已经是大型平台的常规做法。中小企业的简化版本是：推理尽量用托管服务，把电力与机房的复杂度留给专业方；只有在数据不能出域、或者用量稳定到能填满集群时，才考虑自建。
六、自建还是用云：一个不用拍脑袋的盈亏平衡式
把前面的变量收成一个式子，判断就简单了。
自建的单位成本 =（硬件折旧 + 电费 + 机房分摊 + 网络 + 运维人力）÷ 有效 token 产出。其中硬件折旧按三年、电费按"IT 功耗 × PUE × 电价"、有效 token 产出按"实测吞吐 × 利用率 × 有效比例"计算。
云 API 的单位成本 = 单价 ÷ 有效比例 + 出网与存储费用 + 集成与治理成本。注意云侧也有"有效比例"的问题：重试、超时、上下文浪费同样会拉高实际单价。
两条线交叉的地方就是盈亏平衡点。实践中的经验判断是：当稳定负载能持续填满集群六成以上、且对数据驻留有硬性要求时，自建开始有经济性；当负载波动大、模型半年一换、团队没有 GPU 运维能力时，云 API 的总成本通常更低。介于两者之间的，是"混合"：把稳定的大批量任务放在自建或长期合约上，把峰值和实验性负载放在按量付费上。这个结构的关键不是技术，而是把"哪部分负载是稳定的"这件事量化出来。
七、给企业的一张选型清单
第一，要求供应商给出实测而不是峰值。在指定模型、指定输入输出长度、指定延迟上限（比如首 token 延迟和每 token 间隔）下，测 tokens/s 和整机功耗，两个数字必须同时给。第二，把 PUE 写进成本模型。不要用 1.0 假设电费，行业均值 1.52 到 1.54 是更现实的起点，新机房可以按 1.2 到 1.3 估算，老机房按 1.6 以上估算。第三，把利用率当成一等变量。先算清楚你的日均请求量、峰值倍数和可接受的排队时间，再决定买多少卡；按峰值买卡是最常见的浪费。第四，区分训练与推理的采购逻辑。训练看峰值算力和互联带宽，推理看每瓦 token、显存容量和批处理效率，两者不该用同一套评分表。第五，把模型迭代周期算进折旧。如果模型每半年换一代，硬件三年折旧的假设就过于乐观，实际应按两年甚至更短来算。第六，给"有效 token"设一个度量。统计重试率、超时率、人工复核率，把这三个数乘进分母，否则所有能效比较都是纸面数字。
回到开头那个问题：为什么"每百万 token 单价"会骗人？因为它把三个必须由你自己承担的变量——电、利用率、有效性——都藏进了分母之外。2026 年的 AI 算力竞争，表面上是芯片参数的竞争，实质上是"谁能把每一瓦电、每一小时机器、每一个 token 都用在有效产出上"的竞争。对企业来说，最划算的一次优化往往不是换一张更快的卡，而是先把利用率从两成提到五成、把 PUE 从 1.6 压到 1.3、把重试率从两位数降到个位数。这三件事做完，你手里的算力会凭空多出一倍，而这不需要重新招标。
