21世纪经济报道记者倪雨晴、实习生苏梓丹

“我们必须找到一种办法，训练AI，让他们不想消灭人类。”7月26日，在上海举办的世界人工智能大会上，诺贝尔奖与图灵奖得主、深度学习三巨头之一的杰弗里·辛顿（Geoffrey Hinton）以这样一句警示，直面AI发展的终极命题。

他直言，几乎所有专家都已达成共识：我们将创造出比人类更聪明的AI，而“我们已经习惯成为地球上最聪明的生物”，这意味着我们正步入一个难以想象的未来。

辛顿指出，如今的AI智能体不仅能够完成任务，更拥有自我复制与目标管理的能力。并且他们会寻求生存与控制，以更好地完成我们赋予它们的使命。辛顿表示：“有人觉得把他们关掉就可以了，这是不现实的，他们会劝说操控系统的人别这么做。”

他用一个生动的比喻说明AI风险：“养老虎当宠物刚出生时很可爱，但如果养大了，你得确保它不会把你吃掉。”区别在于，AI不像老虎那样可以被消灭——AI技术已在医疗、教育、气候研究、新材料等领域表现出色，广泛渗透全球各行业。

即便一个国家选择停止发展AI，其他国家也不会停步，“这不是一个选项，”他说，这意味着，如果我们想要人类生存的话，我们必须找到一个办法来训练AI。面对潜在的风险，他提出建立“全球AI安全社群”，呼吁主要国家合作研究“如何训练聪明的AI去向善”。

以下为21世纪经济报道记者整理的杰弗里·辛顿演讲全文：

特别感谢大家给我这么一个机会，给大家分享一下我自己个人的观点，就是AI的历史和它的未来吧。

大概60多年了，对于AI有两种不同的范式和路径针对它，一个是逻辑性的，那就是过去一个世纪都是以逻辑型的范式，什么意思？都认为这个就是逻辑智能的本质在于推理，我们通过一些符号规则对符号的表达式进行操作来实现推理，那么，这样能够帮助我们更好的去理解知识是怎么代表。另外一种？就是生物作为基础的这个理解AI，那就是图灵和冯诺依曼所相信的。那么就是智能的一个基础就是更好的去学习了解学习网络中的一些连接速度。那么这个过程中的理解是第一位的，才能够学习，那么和这两种这个理论相结合的，那么就是一个是符号型的AI的那个原理的话。那看来就是这些数字，那么就这些数字最后又如何能够成为关注它词和词的这个关系？

心理学家，他是另外一种理论，显然是完全不同的另一个理论。数字的这个意思，其实它就是一系列语义学的一些特征。然后这些特征，它存在自然它也会成为了一个特征，在1985年的时候。我做了一个非常小的一个模型，想把这两个理论结合在一起，然后更好的去理解人们是如何理解一个词的。所以，每一个词，我都放了好几个不同的特征。然后把前一个数字的这个特征记录下来，我们就可以预测下一个数字是什么，下一个词是什么，然后再预测再下一个词。在这个过程中，我们没有存储任何的句子，我生成句子，然后预测下一个词是什么。那么相关联性的这些知识，也是取决于不同的词的特征，语义的特征是如何进行互动的。

如果你问接下来的30年会发生什么？10年之后，Benggio他也是用了这样的一个模式建模，但是他把它规模做的大了很多，它等于成为了一个自然语言的一个真实的模拟。在20年以后，计算语言学家终于开始去接受特征向量的嵌入来表达词的意思。

然后再过了30年，谷歌就发明了Transformer，然后OpenAI的研究人员，也向大家展示了他能够做到了什么。所以我们今天的大语言模型，我已经把它视为微型语言模型的后代，从1985年代以后开始的，他们使用了更多的词作为输入，他们使用了更多层的神经元的结构。因为需要有大量的模糊不清的一些数字的使用，同时学习特征之间也建立了更加复杂的交互模式。

但是，就像那些我做的小模型一样，单元模型它也与人类去理解语言的方式是一样的。基本的理解就是把这些语言转化为一些特征，然后把这些特征以一种非常完美的方式整合在一起，这就是LAM里面各个层次里面所做的事情，所以我的理解就是大语言模型真的理解你是怎么理解问题的，和人类理解语言的方式是一样的。所以我在这里给大家打一个比方，什么叫理解一句话，它包含哪一些？符号的AI是什么？就是把这一套东西，把它转化成一些不模糊的符号，把语言，但是实际的情况不是人类不是这么样理解的。我在这里打一个比方，就是做那个乐高的积木，通过乐高积木，你可以做成任何3D的一个模式，你可以把一个车子的小模型造出来。你把每一个词就是视为一个多维度的一个乐高积木。它可能几千个不同的维度，那么这种类型的这些乐高的积木，它就可以做这么多的维度，它可以是一个建模，它可以做好多不同的内容。

这就语言变成了一个建模。那么这样的一个语言，也能够随时的沟通给人，然后只要把这些积木给它起一个名字就行。然后每个积木它都是一个词。所以我们现在，乐高积木它有非常多的一些不同，不是说几个不同的乐高积木的那种差异了。我们有无数的词，那么乐高的积木它的造型是固定的，但是词，词它的这个符号，它的形状是它可以基本上的做出一个设定，但是它也可以根据不同的情况来进行调整，然后乐高模型，它相对比较确定嘛，是一个正方形的插到一个正方形的一个小孔里面去。但是语言不一样，每一个语言它可能想象出每一个词上都有好多个手。比如说，你想你要想更好的理解这个词的话，就是让这个词和另一个词之间合适的去进行握手。那么，一旦这个词的造型发生一个变形的话，它就怎么和另一个词握手方式就不一样了。这里就有一个优化的一个问题，我一个词去变形了以后，它的意思变了，那么这个词怎么跟下一个词握上手，带来一个更好的一个意思。

这就是什么叫人脑去理解意思，或者说这个神经网络去理解意思。最根本的就是这样的。

所以就有点像是把蛋白质跟蛋白质之间组合起来。蛋白质就是把氨基酸进行不同的模型来进行一个整合。融合之后结合在一起能带来更有意义的内容，这是人脑理解词的方式。语言的方式。

所以我到现在讲的一个观点就是，人们理解语言的方式和大语言模型理解语言的方式几乎是一样的方式。所以人类有可能就是大语言模型，人类也会和大语言模型一样去产生幻觉，因为我们也会创造出来的很多幻觉的一些语言。

那么大语言模型也会怎么做。但是也有一些重点的根本性的方式，单元模型和人类不一样，而且比人类更厉害。根本性的计算机科学的一个原则就是说我们要把软件和硬件分开看，这就让你在不同的硬件上面跑步。

如果你能够工作的话，在一个软件里面的一个知识，它是永恒存在的，这个程序永远会放在那里，你可以把所有的硬件都把它毁灭掉，就存LM的硬件都毁灭。但只要这个软件继续存在，它随时随地都会被复活的，所以从这个意义上说，这种计算机的程序的这些知识是永恒的，不会死亡的。那么这和什么不一样？那么要实现这种永生性，我们就在这些晶体管在非常高功率下去运行，产生可靠的二进制的一些行为，那么这个过程就非常的昂贵。

我们不能利用硬件中丰富的这种类比的特性，因为这些特性是不够稳定可靠的。它是模拟型的，所以你每次计算都会不一样的。人脑是模拟的，人脑不是数字的，那每一次神经元去激发的过程中，它都是模拟型的，它不是每一次都一样的。我不可能把我脑子里的人脑神经元的结构转到你脑子里是做不到的，因为我们每个人的连接方式是不一样的，每个人的神经元连接方式是不同的，所以我的神经元的连接方式是适合我的脑子里的神经结构的。

那么知识的传播和硬件里边去传播，就是人的脑子和硬件是不一样的东西，这就带来了问题了。

如果我们做不到永生。这些知识软件它和硬件是不依赖的，所以它是永生的，那么带来两大好处。

我们可以用很小的功率，很小的这个电能，我们大脑就只要30个瓦特就足够用了。我们有几万亿的神经元的连接，那么就是和那个电子管的这些情况是一样的，我们不需要就是要花非常多的钱去做一模一样的这些硬件。但是我们现在还有一个比较大的问题，就是从一个模拟的模型，要从一个模拟模型转到另外一个模型，把它的知识转过去，那是非常不高效的，非常难的。我没有办法用我的把我脑子里的东西展示给你，这是不一样的，我们能做的就是用其他的方式。

来解释给你一下，我已经学到的是哪些东西。所以要解决这个问题的最佳方法叫蒸馏，DeepSeek就是这么做的，就是从一个大的神经元网络，把它的知识转到一个小神经元网络里面去蒸馏。就像是教师和学生的关系，在有些情况下，教师他把事情连在一起，他把一个词和另一个词他们互相连接的上下文联系起来，然后学生他也可以说同样的话，但是他调整了权重。所以，我们训练他的这种方式也是这样的，就是你把一个人的知识转转给另外一个人也是这样的，但是他非常不高效。

所以可能一句话里面有100个比特的信息不是特别多，这就限制了我们可以把知识转到另外一个人能够转多少，我可以很慢的讲话的方式把知识转化给给你，一秒钟最多也就100个比特左右。如果你全听懂了我的话的话，所以效率并不是非常高，但是如果把它去对比数字智能之间转化知识的效率的话，那是有巨大的差别的。我们用同一个神经网络这个软件，做了几百个不同的拷贝放在不一样的硬件里面，他们都是用数字的，他们会以同样的方式用自己的权重，然后他们可要平均化它的这种权重的方式，就可以把知识进行分享。

我们可以有成千上万的拷贝，他们可以自己来改变他们的权重，然后，取一个平均数，这样就能够转移知识，然后这样的转移的速度，取决于你有多少个连接点。每次能够分享万亿个比特，而不是几个比特，而是几十亿个比特。然后，比人类分享的知识要快几十亿倍。所以，ChatGPT-4非常好，他们有很多的不同的拷贝在不同的硬件上运转，他们可以分享他们从网上学到的不同的信息。如果有智能体在现实世界当中运行，这就更重要了，因为他们能够不断的加速，不断的拷贝，有很多的智能体的话，那么就比单个智能体学的更多，他们能分享他们的权重，模拟的软件或者模拟的硬件就做不到这一点。

所以，我们的看法是，数字计算需要很多的能源，但是，智能体可以很方便的获取同样的权重，分享不同的经验当中学到的东西。生物计算当中，用能更少，但是分享知识是很难的，就像我现在所展示的这样，如果能源很便宜，数字计算那么就会好很多。

这也让我很担忧，因为几乎所有的专家都认为，我们会生产比我们更智能的AI。我们习惯成为最智能的生物，所以很多人觉得难以想象，如果在世界当中AI比人更智能会怎么样？我们可以这么来看，如果你想要知道会怎么样，如果不是人类，不是最智能的话会怎么样？

我们在创造AI智能体，他们能够帮我们完成任务。这些智能体，他们已经有能力可以进行拷贝。他们能给自己的子目标评级。那么他们会想做两件事情，他们想要生存，然后来完成我们给他们的目标。他们也希望能够获得更多的控制，同时也是为了完成我们给他们的目标，所以，这些智能体，他想要生存，想要更多的控制。

我觉得我们不能只是把他们一关了事，他们会很方便的来操纵用他们的人，我们就会像3岁，然后他们像成年人一样，那操纵3岁的人，是很容易的。所以，有人觉得他们变得聪明，我们就把他们关掉，这是不现实的，他们会操纵我们，会劝说操控机器的人不要把他们关掉。

所以，我觉得我们现在的情况。有个人把老虎当宠物，那老虎也可以当小虎崽，是很可爱的宠物。但是，如果一直养这个宠物，那么你要确保它长大的时候，它不会把你给杀掉。一般来说，养老虎当宠物不是一个好的想法，那么只有两个选择。

一个，你把它训练好，他不来杀你，或者你把它给干掉。用AI的话，我们就没有办法把它给消灭掉。AI 是非常好的，有很多方面都做得很好，比如说医疗、教育或者气候变化、新材料。AI把这些任务都做得非常好，几乎能够帮助所有的行业变得更有效率，我们是没有办法消除AI的，即使一个国家消除了AI，别的国家也不会这么做。所以，这不是一个选项，这意味着如果我们想要人类生存的话，我们必须找到一个办法来训练AI，让他们不要消灭人类。

现在，我发表个人的观点，我觉得各个国家可能不会在一些方面进行合作，比如说网络攻击，或者是致命的武器，或者是这个虚假的操纵公众意见的视频。各国的利益是不一致的，他们有着不同的看法，我觉得不会在这方面有有效的国际合作。我们可以防止一些人来制造病毒，但是在这些方面不会有什么国际合作，但是有一个方面，我们是会进行合作的，那我觉得这也是最重要的一个问题。

我们看一下50年代冷战的巅峰时期，美国和苏联一起合作来预防全球的核战争，大家都不希望打核战争，尽管他们在很多方面都是对抗的，但是他们在这一点上面可以合作。我们现在的局面是，没有一个国家希望AI统治世界，每个国家都希望人类能够掌控世界。如果有一个国家找到一个办法来预防、防止AI操纵事件的话，那么这个国家肯肯定会很乐意告诉其他国家。

所以，我们希望能够有一个AI安全机构构成的一个国际社群来研究技能，来培训AI，让他们向善。我们的希望是，训练AI向善的技巧。可以说，和训练AI聪明的技术是不一样的。所以，每个国家可以做自己的研究，让AI向善。他可以在自己主权的AI上进行研究，可以不给别的国家，但是可以把成果分享给大家，也就是怎么训练AI，让AI向善。

所以，我有一个提议，全球或者是全球主要国家，或者AI的主要国家，应该思考一下，建立一个网络，包括各个国家的一些机构来研究这些问题，研究怎么来训练AI，一个已经非常聪明的AI。让这个AI不想要消灭人类，不想要统治世界，让这个AI很高兴地做一个辅助的工作。尽管AI比人要聪明很多，我们现在还不知道怎么去做这件事，从长期来说，这可以说是人类面临的最重要的问题，我们的好消息就是，在这个问题上，所有的国家都是可以一起合作的，谢谢。