周城雄（中国科学院科技战略咨询研究院研究员、数智创新与治理研究中心副主任）

在近日举行的2025世界人工智能大会上，诺奖得主杰弗里·辛顿与前谷歌CEO埃里克·施密特罕见同台。辛顿把超级AI比作“养不大的老虎”，提出“必须训练它不想消灭人类”；施密特则呼吁“先立规矩再谈创新”。在资本市场仍为大模型算力、参数和估值热血沸腾的当下，两位顶尖技术专家却高声谈论“如何不让AI毁灭世界”——这并非学术噱头，而是给整个产业递上了一份新的“成本-收益表”：安全不再是合规部门的边缘预算，而是决定下一轮万亿美元市值归属的核心生产要素。

传统TMT投资模型中，安全投入被视为“可延迟的固定成本”。但辛顿的警告提供了新的约束条件：一旦AI能力跨过某个临界点，其“失控损失”趋于无穷大——即毁灭性风险的尾部概率不可忽略。在经济学的语言里，这意味着安全投入从“可选项”变为“生产函数中的必要投入”，与算力、数据并列。任何企业若无法在模型训练阶段内嵌“不想消灭人类”的效用函数，其未来现金流将被资本市场以无限折现率惩罚，估值直接归零。

施密特的建议则给出了操作化路径：在国际治理框架出台前，企业须先自行搭建“护栏”——可计算、可审计、可问责的安全标准。这相当于把安全市场提前内部化：企业今天花的每一美元在RLHF（人类反馈强化学习）、对齐研究或红队测试（模拟对抗性攻击）上，都是在购买一份“尾部风险保险”，并提前锁定未来监管博弈的议价权。谁先跑通“安全即服务”（Safety-as-a-Service）的商业模式，谁就能把合规成本转化为竞争壁垒。

AI治理的核心矛盾在于其“能力不对称+利益高度分化”的全球格局。破解之道在于构建“差异化责任”体系——将“向善训练”拆解为基础协议与增值服务，通过分级付费机制平衡各方利益。

规则制定权的争夺已成为新的角力点，而开源生态可能成为打破治理僵局的意外变量。中国开源模型与美国闭源体系的路径分野，形成了独特的“规则试验田”。一些企业通过开源多模态模型，吸引全球开发者共建形成活跃的安全生态，这种“众包治理”模式不仅降低了创新门槛，更构建了新型信任网络。参与开源安全社区的企业，其产品通过国际认证的效率大幅提升，这印证了施密特的判断：“开源加护栏，可能是平衡创新与安全的最优解。”

全球AI竞赛的焦点正在从“算力军备”转向“安全红利”，这种转变将引发产业链的三重重构。上游领域，专用安全芯片异军突起。中游市场，“AI安全云”平台加速涌现，为初创企业提供数据对齐、红队攻击等API服务，这种外包模式使中小企业的安全研发成本大幅降低。下游应用端，医疗、金融等强监管行业已将“安全等级证书”列为采购前提，通过认证的企业可获得相应的溢价空间。

价值分配机制也随之重塑。过去两年，GPU厂商凭借算力垄断攫取了产业链大部分的利润，而安全革命正在打破这种格局。例如提供算法审计服务的企业，其人脸鉴伪模型因通过可解释性认证，订单溢价明显；还有一些企业的开源策略虽短期让利，却带来了生成式AI的市场份额增长。这种“安全换市场”的模式，正在改写“规模为王”的传统逻辑。

全球化策略需要更精妙的平衡术。在欧美市场，企业需采用“合规优先”策略——阿里云为进入欧盟市场，将数据本地化成本纳入定价模型，虽使利润率下降，但获得了进入公共采购体系的资格；在新兴市场，“技术换规则”成为新路径，百度与沙特NEOM的合作，不仅输出AI解决方案，更将中文语义安全标准嵌入当地智慧城市建设。

组织能力的重构同样关键。有的新能源车企将AI伦理委员会嵌入产品全流程，实现工程师与AI系统的实时纠偏；还有互联网平台连接全球开发者，通过众包模式快速响应各地合规要求。这种“人机协同+分布式研发”的架构，正在成为应对复杂治理环境的标配。

未来的AI产业也将呈现“技术螺旋”与“制度螺旋”交织的形态：技术螺旋是从单一模型竞争转向“模型+数据+能源”复合能力竞争。OpenAI投资核聚变公司Commonwealth Fusion Systems，为超算中心提供可持续算力；制度螺旋是从国家主权规则转向“人类命运共同体”治理框架。由中国牵头，在联合国发起成立的“人工智能能力建设国际合作之友小组”，或将催生“数字时代的WTO”。对企业而言，这意味着从“零和博弈”转向“正和创造”。

AI产业正站在秩序重构的十字路口。辛顿的“驯虎论”与施密特的“立规矩”共同指向一个结论：当技术创新的速度远超制度演进，企业必须将治理思维嵌入商业基因。那些能将“不想作恶”转化为可持续商业模式的先锋，不仅将赢得市场，更将主导下一轮全球经济秩序的塑造。辛顿与施密特的警告为资本市场递上新“成本收益表”：下一轮估值必须包含“文明存续因子”。当技术螺旋（模型+数据+能源）与制度螺旋（从主权规则到人类共同体）交织，企业竞争逻辑已从零和博弈转向正和创造。驯服AI这只“猛虎”的嚼子，终将成为一门好生意——前提是人类足够清醒，把“不想作恶”刻进技术基因与经济理性深处。