企业 AI 的“单位经济学”:推理成本暴跌后,ROI 为什么还是算不平
企业 AI 的“单位经济学”:推理成本暴跌后,ROI 为什么还是算不平

CFO 会议室里最流行的一句话,是"AI 越来越便宜了"。这句话没错,却也是最容易让企业 AI 预算失焦的一句话。Gartner 在 2026 年给出的预测足够震撼:到 2030 年,对一个万亿参数大模型做一次推理的成本,会比 2025 年再降 90% 以上;而同等规模模型的成本效率,相比 2022 年的早期型号最高能提升 100 倍。a16z 的追踪更直接——自 GPT-3 开放以来,达到相近能力水平的推理成本,三年里掉了大约 1000 倍,等效性能的模型调用价大致以每年 10 倍的速度往下走。

可就在这条"白菜价"曲线的同一张报表上,越来越多企业的 AI 账单不降反涨。Menlo Ventures 的数据显示,企业在生成式 AI 上的投入从 2024 年的约 115 亿美元,涨到 2025 年的约 370 亿美元,一年翻了约 3.2 倍,AI 正从"试点预算"变成正式的 IT 与业务预算。单价跌、总支出涨,这个悖论不是数据打架,而是企业 AI 的账,从来就不该只按"单价"来算。本文依据 Gartner、a16z、Menlo Ventures 等英文原始研究与厂商披露,把这笔账拆成三行算式,并给出一套能落到部门头上的成本治理方法。

一、单价只是分子,每任务的 token 量才是被低估的分母

要理解"越便宜越贵",先要接受 Gartner 给 AI 定的一个新计量单位:token 是 AI 的工作单位(其分析口径里 1 token 约等于 3.5 字节、约 4 个字符)。企业 AI 的推理成本,本质是一道乘法——单价 × 消耗量。过去两年所有人都盯着"单价"那一项,却忽略了"消耗量"那一项正在以更猛的速度往上走。

Gartner 在这份预测里特意泼了一盆冷水:token 单价的下降不会完全传导给企业客户,更关键的是,前沿智能所需的 token 量将远超今天的主流应用。它给出的锚点是——代理式模型(agentic model)完成一项任务所消耗的 token,是标准生成式聊天机器人的 5 到 30 倍,而且它还能执行比人类用聊天机器人更多的任务。也就是说,当你从"问答式 Copilot"升级到"会自主拆解、调用工具、反复推理的 Agent",单位任务的消耗量会先跳一个数量级。单价哪怕降了 10 倍,消耗量涨 30 倍,你的账单仍是往上走的。这就是"token 消耗增速快过成本降幅、整体推理成本仍将上升"的算术根源。

把这笔账用一个具体算术摊开会更直观:假设某个任务在 2024 年单次消耗 1 万 token、单价 10 美元/百万 token,成本 0.1 美元;到 2026 年,同等能力的单价若降了 10 倍变成 1 美元/百万,看似省了一个数量级——可当你把这个任务从"一问一答"升级成"自主多步的 Agent",同一件事的 token 消耗从 1 万涨到 20 万(还在 Gartner 说的 5 到 30 倍区间内),净成本反而从 0.1 美元变成 0.2 美元。单价的红利还没焐热,就被消耗量的上升吞掉了。这就是为什么"等模型降价"救不了 ROI——真正决定账单斜率的,是你把多少任务 Agent 化、每个任务塞了多少上下文。

二、第二笔被漏算的账:不是 token,而是"假成功"和返工

即便把消耗量算进去,多数企业的成本模型还是太乐观,因为它默认"一次调用就搞定"。真实生产环境里,Agent 的失败常常伪装成成功,返工的成本被藏进了看不见的地方。微软一项覆盖数百个工作流、每个重复约 20 次的实测发现,七成的失败其实是"假成功"——任务表面上跑完了,底层数据或校验却没通过,于是需要重试、需要回退、需要人工兜底。每一次"假成功"都不是免费的,它意味着那 5 到 30 倍的 token 消耗里,有相当一部分是被浪费在没真正完成的活儿上。

与返工并列的,还有上下文的膨胀。Agent 为了"记全情况",会把大量历史、工具说明、检索结果反复塞进 prompt,输入侧的 token 消耗因此远超直觉。有厂商的自测给出过一组对比:把上下文层做针对性优化后,单次任务的输入 token 从数百万级压到数十万级——反过来说,没做治理时,光是上下文就能吃掉一整个部门的推理预算。这些成本的共同点是:它们不出现在"每百万 token 单价"里,却实打实地出现在月底账单上。只看单价选型,等于对着菜单上的一个数字点整桌菜。

三、第三笔被忽略的账:便宜的 AI,配套的是更贵的硬件

把视角从 API 账单抬到基础设施,还会撞上第三条曲线——推理成本降的同时,算力硬件并不跟着降,甚至在涨。围绕数据中心的分析普遍指出,企业生成式 AI 支出里有相当大一块流向少数几家计算供应商(NVIDIA 占据了算力支出的约四分之三),而一颗基准 GPU 的采购价高达数万美元。换句话说,云端 API 的单价在被拼命压低,可一旦你想把模型搬到自有环境、或用量大到必须自建,硬件、电力与冷却这些"重资产"成本会立刻接管账单。Gartner 自己也把推理成本预测拆成"前沿芯片"和"传统混合芯片"两种场景:在算力更低的混合场景下,同等建模任务的成本远高于前沿场景。这说明"AI 便宜"是分层的——用头部厂商的前沿集群便宜,用老旧卡、用边缘设备、用不合理的架构,可以很贵。单位经济学从来不是单一数字,而是一组取决于你怎么部署的条件句。

四、把三笔账合起来:一套企业能直接用的成本治理

把"单价 × 消耗量 + 返工 + 硬件"四行合并,就能得到一套真正能落地的治理方法,而不是停留在"等模型再降价"的被动乐观里。

第一,改考核口径:从"每百万 token 单价"换成"每成功任务的总成本"。选型时别只比 API 报价,而是固定一批真实业务任务,测完成率、重试次数和总 token 消耗。两个模型单价一样,一个能一次做对、一个频繁假成功返工,后者的真实成本可能高出一截。第二,按任务形态分档配模型。把简单的抽取、分类、格式化路由到小模型或本地部署(对应我们另一篇讲的性价比反转),只在真正需要复杂推理的环节动用前沿大模型——这正是压掉"5 到 30 倍消耗"最直接的手段。第三,把上下文当成预算项来管。用检索裁剪、会话摘要、工具描述精简来控制输入 token,别让 Agent 为了"保险"塞满上下文。第四,给自主 Agent 上"花费上限 + 实时观测"。FinOps 逻辑正在被原样搬进 AI:设 token 与费用硬顶、按部门归因、异常消耗实时告警——79% 的 AI 预算在超支这件事,靠的就是治理而不是祈祷降价。第五,先算重资产盈亏平衡再决定自建。只有当稳定用量高到"自建摊薄的硬件成本明显低于云 API 成本"时才上重资产,否则把前沿推理留给云厂商更划算。

这套治理里最容易被跳过、却回报最高的一环,是把"评估"当成成本的地基。微软、Snyk、CoreWeave 等一批厂商在 2026 年不约而同押注"在线评测 + 质量门":把生产环境里真实跑过的 trace 沉淀成下一轮的测试集,用一个可量化的完成率门槛卡住每次发布。道理很直白——你没法优化一个没被度量的成本。没有评估体系时,返工和"假成功"是笔糊涂账;一旦给每类任务定了完成率基线,"每成功任务总成本"这个北极星指标才算得出来,前面五步治理才有了共同的标尺。把评估做在前面,本质是花钱买"看得清账单"的能力。

回到那句让 CFO 安心的"AI 越来越便宜":它说的是单价,而企业真正该盯的是每成功任务的总账。单价的下滑是行业送的确定性红利,消耗量、返工率和硬件结构才是决定你 ROI 的变量——它们不会因为模型降价而自己变好。2026 年做企业 AI 最贵的成本,往往不是买模型的那笔钱,而是"以为便宜、于是没算账"这件事本身。先把单位经济学拆到每一行、归到每一个部门,AI 的账单才第一次变得可预测,规模化也才真正有了财务上的地基。