试点不是小规模的项目,试点是一次有条件的实验
关于 AI 项目的最常见的一笔糊涂账,发生在「先做个试点试试」这句话上。这句话在会议室里听起来非常理性——花小钱、看效果、不行就停。但在绝大多数企业的实践里,试点变成了一个缩小版的生产项目:范围被压缩了,时间被缩短了,但验收标准没有变,于是试点变成了一个既跑不出数据、也无法终止的中间状态。
而这个中间状态有一个致命的特征:它没有退出条件。没有退出条件,试点就会一直「再试一段时间」,直到预算耗尽或者热情消退。
所以关于试点,真正需要设计的不是功能范围,而是三样东西:要验证什么、什么时候判定失败、失败了怎么办。前两样多数企业会想,第三样几乎没人想。
先看一组国际上的量化数据,因为它们决定了这篇文章的写法。
88%、95%、80%:三个数字为什么都对,又为什么不能用
过去两年关于 AI 项目落地,最广为流传的是三个数字。它们经常被混着用,甚至被说成互相矛盾,但它们实际上测量的是同一条链路上的三个不同环节。
| 数字 | 来源与口径 | 实际测的是什么 |
|---|---|---|
| 33 个试点只有 4 个上线 | 分析机构对企业的试点盘点 | 从试点到生产环境的技术与组织转化率,约 12% |
| 46% 的试点在进入生产前被砍 | 2025 年对 1006 名北美与欧洲信息技术及业务负责人的调查 | 企业实测的「试点未进入生产」比例 |
| 95% 的生成式 AI 试点没有可测量的回报 | 某研究机构对 300 个部署案例、150 位高管访谈与 350 份员工问卷的分析,在 300 至 400 亿美元的投入规模下得出 | 不是「没上线」,而是「上线了也没测出损益影响」 |
| 超过 80% 的 AI 项目失败 | 2024 年对 65 名资深数据科学家与工程师的访谈,是非 AI 类 IT 项目失败率的两倍 | 访谈口径下的项目失败判断 |
把这四个数字放在一起就能看出问题:它们的分母根本不是同一个东西。有的数「试点」,有的数「项目」,有的数「组织」。所以「95% 的 AI 项目都会失败」这个说法是错的,而「企业 AI 很靠谱」也是错的。
但它们共同指向的位置是明确的:从试点到生产的转化,是整条链路上损耗最大的一段。而损耗最大的原因,几乎从来不是技术不够好。
第一大死因不是技术,是问题选错了
那 65 位资深从业者的访谈里,排名第一的失败根因是:业务领导层对要解决的问题理解错位——目标不清、预期膨胀、低估周期。
这个排序值得反复读三遍。排名第一的原因不是数据质量差、不是算力不够、不是模型选型失误,而是一开始就解决了错误的问题,或者对正确的问题抱有错误的预期。
这在试点阶段尤其致命,因为试点的评价标准通常只有一条:看起来能不能成。演示的时候效果好不好、响应快不快、界面无不无聊——这些是可以在两周内做出漂亮结果的指标,但它们和「这家公司的成本因此下降了多少」之间,隔着一整条链路。
把试点目标按这个标准重新排一次,会得到一个和常见做法完全不同的清单:
- 不要选「最痛的痛点」当第一个试点。最痛的痛点通常意味着最复杂的流程、最多的历史数据、最难协调的部门——它一定是最不适合做第一个试点的场景,但却是最容易被选中的场景,因为它听起来最有价值。
- 选一个能在八周内产出可测量数字的场景。八周是一个刻意的约束,它排除了大部分「需要先治理再试点」的选项,而剩下的是真正能出数字的。
- 选一个「不做也不致命」的场景做技术验证,选一个「不做很致命」的场景做价值验证。这两件事不要在同一个试点里完成。技术验证关注准确率和稳定性,价值验证关注工时和成本,混在一起两个都测不准。
- 先量基线,再做试点。在系统介入之前把这个岗位的人均工时、单据处理时长、错误返工率记录下来。没有基线,试点结束后无法证明任何事情。
第四条是最容易被跳过、但唯一不可跳过的一条。没有基线数据的试点,无论结果多好都无法作为决策依据——因为改善可能是业务量自然波动带来的,而不是系统带来的。
第二道坎:性能悬崖
假设试点通过了,进入了生产。接下来会发生一件在试点阶段完全看不到的事:表现会掉下来,而且掉得很厉害。
这个现象可以量化。在受控测试条件下达到 60% 成功率的应用,在连续八轮贴近生产负载的运行中,成功率会掉到 25% 左右。这不是模型退化,是环境变了:
试点阶段跑的是精心挑选的、结构规整的输入;生产环境跑的是所有的输入,包括格式错误的、语义模糊的、历史上从没出现过的那一类。试点验证的是系统能不能做,生产验证的是系统在真实分布下能不能做,这两件事的差距往往在一半以上。
所以对试点的第一条硬要求是:试点阶段就要用生产数据跑,而不是用演示数据跑。用脱敏的真实历史数据、用完整的字段、用真实的异常比例。这一条会让试点的准备时间变长两周,但能避免在生产上线一个月后才发现问题。
| 阶段 | 应该用什么数据 | 常见错误 |
|---|---|---|
| 演示 | 人工挑选的典型案例 | 拿演示效果当试点效果,两者是两回事 |
| 试点 | 脱敏后的完整生产历史数据,包含异常值 | 用清洗过的干净数据,导致上线后性能悬崖 |
| 灰度 | 全量真实数据,按百分之五到十的比例放量 | 一次性全量切换,没有回滚路径 |
| 生产 | 全量,带持续监控和异常告警 | 只有成功率一个指标,没有分场景的下钻 |
除了数据,环境还有三处变化同样重要:并发量、用户的使用方式、以及异常输入的比例。演示是一个人盯着看,试点是几个人轮流试,生产是几百人各干各的。后两种情况下,用户会用试点阶段从未用过的方式使用系统,而系统的行为边界往往只在前一种情况下被验证过。
四道止损线:让试点可以被终止
回到开头那个问题——多数试点不是失败在技术上,是停不下来。所以试点的设计里必须包含止损线,而且止损线要在开始之前就写下来。
下面这四道止损线,是按「它们应该出现在什么时候」排列的:
| 止损线 | 设在哪一步 | 判定内容 | 不设的后果 |
|---|---|---|---|
| 第一道:投入止损 | 立项前 | 这次试点最多花多少钱、多少人、多长时间,达到即止 | 投入按月累加,止损日一拖再拖 |
| 第二道:数据止损 | 开工前 | 什么准确率以下判定技术不可用,测试集由谁出、样本多大 | 准确率靠主观评价,说好就好 |
| 第三道:价值止损 | 开始前 | 业务侧的哪个数字要改善多少,测量窗口多长 | 项目结束时只能说「大家感觉不错」 |
| 第四道:扩展止损 | 试点结束时 | 满足什么条件才扩大到第二个场景,什么条件就地终止 | 试点一成功就全面铺开,摊薄未验证的假设 |
这四道线里,最关键的是第二道和第三道,因为它们必须由两个不同的人给出:技术负责人给准确率,业务负责人给业务数字。如果这两个数字都由技术方给出,那这道止损线形同虚设——因为判定它的人会倾向于让它通过。
还有一个实践中最容易犯的错:止损线的判定数据由谁出。如果测试集是开发方自己挑的,那准确率这个数字就只是一个技术演示结果,不是评估结果。比较稳妥的做法是由业务方在三周内从真实历史中抽一批样本,包含已知的难例,交由开发方跑——这样出来的数字才有约束力。
ROI 为什么测不出来:三个结构性原因
即使试点成功了,还有一个更普遍的问题等着:试点转生产之后,收益依然测不出来。
在 2025 年的一项调查中,1006 名受访的北美与欧洲信息技术及业务负责人里,只有 39% 的人表示他们的组织看到了可测量的利润表影响,而且多数人认为 AI 对利润的贡献不到 5%。同一时间,一项针对 782 名基础设施与运维负责人的调查显示,只有 28% 完全达成了投入回报目标,20% 彻底失败,57% 在过去一年里至少经历过一次失败。
为什么测不出来?三个结构性原因:
第一,收益被摊在了整个流程上。AI 改进的是一个环节的耗时,但企业的成本科目里没有「这个环节」这一栏。所以收益是真的,账上看不见。
第二,成本被摊在了整个项目上。模型调用、算力、数据准备、系统集成、监控维护,全部混在一个项目费用里,而收益只对应其中一部分功能。核算时只能算总收入减总支出,结论必然是亏的。
第三,时间对不上。试点在第三个月,收益在第十一个月才完整体现,而预算在第六个月就要看结论。用六个月的项目去判断十二个月才回收的投资,是这类项目最常见的核算错误。
针对这三条,实践中有对应的三个做法:
- 给收益单独找一个可以归属的科目。如果做不到,就约定一个代理指标——比如单据处理量、客服一次解决率、报表出数时间——并明确这个代理指标和实际成本之间的换算关系由双方认可。
- 试点费用和规模化费用分开算。试点是一次性的实验投入,规模化是复制投入。混在一起算,试点永远显得不划算,因为它的单位成本天然高于复制阶段。
- 把收益观察期写进项目计划。如果项目周期是六个月,那么「六个月时不给最终结论」应该在一开始就说清楚,而不是等财务来问。
换算到枣庄:四类企业试点的不同止损策略
止损线的具体形态应该和企业规模、数据基础、行业属性匹配。下表给出四类企业的建议:
| 企业类型 | 首选试点场景 | 主止损线 | 最容易犯的错 |
|---|---|---|---|
| 小微企业,20 人以内 | 单点重复性工作,比如报表汇总、单据录入 | 投入止损,控制在两个月内 | 想一次覆盖多个部门,试点变成摊大饼 |
| 成长型企业,50 至 300 人,有明确流程 | 有基线数据、有计量口径的单一流程环节 | 数据止损加价值止损,双人判定 | 只设技术止损,业务侧不参与定标准 |
| 制造与工程项目型企业 | 文档与图纸处理、巡检记录、质量数据汇总 | 价值止损,看单次项目节省工时 | 选最复杂的生产环节做第一个试点 |
| 有明确客户与合同约束的企业 | 内部先试点,不直接对客户承诺 | 扩展止损,第二场景前重新评估 | 试点结果直接写进对外承诺 |
这张表里第二行那句「双人判定」是通用规则,而最后一行是最危险的一条:把试点结果写进对外承诺,等于把一个还没验证的东西变成了合同义务,企业从此失去了说「再等等」的权利。
另外四类企业各自有一个共同的时间陷阱:小微企业往往低估准备时间(以为两周能用,实际要两个月),成长型企业往往低估协调时间(技术没问题,跨部门授权没谈下来),工程项目型企业往往低估数据清洗时间(图纸和文档的规范度通常比想象中差得多),有客户约束的企业往往低估传播时间(一个客户提需求,就需要一套可复制方案)。
结语:试点是一次可以失败的设计,不是一次小规模的成功
回到那三个数字。它们之所以让人不安,不是因为比例高,而是因为这些失败大部分在开始时就已经决定了:问题选错、基线没量、止损线没定、ROI 口径没约定——这四件事都是在试点启动前的会议上决定的,而它们决定了不到一半的试点能走到终点。
所以一个合格的试点方案,看的不是它要做什么功能,而是它有没有回答三个问题:
第一,这次试点要证明什么?如果答案里出现「验证技术可行性」和「验证商业价值」两句话,那它其实是两个试点,应该拆开做。
第二,什么情况下判定它失败?这个答案必须由业务方和技术方分别给,且在开工前写进文件。如果这个问题需要开会讨论才能得出结论,说明现在还没准备好开始。
第三,如果失败了,损失是可控的吗?可控的标志是:投入封顶、时间封顶、且失败后系统可以下架而不影响既有流程。这三条同时成立,试点才是一个可以放心去做的实验。
三个问题都答得上,试点就值得做。答不上第一条,它会告诉你想要什么;答不上第二条,它会一直做下去;答不上第三条,它失败的时候你才会发现代价。