对话嘉宾：罗杰·瑞迪，图灵奖得主、曼纽尔·布卢姆，图灵奖得主、姚期智，图灵奖得主。沈向洋，原微软执行副总裁、美国国家工程院外籍院士。

沈向洋：大家上午好！今天特别荣幸有这个机会和大家进行小组讨论，这三位都是导师级别的人物，快速给三位专家做一个介绍。

第一位，罗杰·瑞迪1994年获得图灵奖，我一直非常骄傲地说，他拿了图灵奖的时候我还是他的学生，所以这点让我特别骄傲。

第二位，曼纽尔·布卢姆教授，非常棒的老师，非常棒的学者，1995年时候获得图灵奖。

第三位，姚期智，清华大学教授，2000年获得图灵奖。

今天有这个机会和三位专家分享一下关于AI的未来，甚至可以谈谈有关AI的过去，我们如何思考在这个时代的AI治理。

首先问一下罗杰·瑞迪教授您的整个职业生涯都与AI相关，告诉大家一个小秘密，人工智能这个词就是你的导师在大会上创造出来的，您当时获得图灵奖的时候就说要建一个大规模的AI系统，实际上您最近也在思考AI愿景以及风险一面。跟我们讲讲您对AI的看法如何，以及对它的担心是什么？

罗杰·瑞迪：我今天上午听了大家的讨论，我很惊喜，也很高兴。

第一，看到大家都对AI治理方面的风险问题、安全性有担心。我们应该做些什么来用AI？在每一个领域里更多用AI，把AI视为工具，进一步加强人类智能，心智能力。不管你是谁，有能力做你想做的事，速度提升10-100倍。问题是怎么做到？我们需要做哪些研究？需要做哪些投资？但现在还没有做到这一点。

第二，联合国发言人讲到“能力建设”。现在我们的教育体系，没有办法培养未来的一代人，也就是了解AI的一代人。他们需要用AI来做好自己的工作，我们不能解决每个人的每个问题，但是我们能让每个人把自己工作做好。

沈向洋：谢谢，接下来有请曼纽尔·布卢姆讲非常重要的AI方面，也是您过去几年所研究的问题，这就是意识，这个很神秘的东西。有意识的AI，您能不能介绍一下您的工作？

曼纽尔·布卢姆：非常感谢，我和两位导师一起定义神经元，我很幸运和他们一起学习，我也想说试图研究人的大脑，这是二年级开始做的。我的老师和妈妈说，我可能高中会毕业，但上不了大学。我妈妈感到很困扰，但我并没有很苦恼，我问了我的父亲，我能做什么变得更聪明？他说，如果你知道你的大脑里在发生什么，你就会变得更加聪明一些。我觉得这个是很好的想法。

所以，我非常幸运做的工作是跟意识有关，我也做了20多年，这个行业发展得越来越好，我们越来越多地了解了大脑是怎么运作，现在研究意识已经是大家都能接受的，当时想研究意识，（尽管）导师是很了不起的人，各方面都很鼓励和积极，他说你不要去研究意识，这是1958年的时候。

现在研究意识已经很正常，意识能够给我们想法，让我们去建立通用人工智能。雷诺尔·布朗和我创立了意识的模型，我们叫做“有意识的图灵机（CTM）”，部分是基于图灵工作，它的想法来自于图灵，建立非常简单的想要理解东西的模型。图灵建了自己的图灵机，就是第一个计算机。我们工作也是基于神经科学家告诉我们的，有自己的大脑模型。对我来说，这是非常重要的，在我四年级的时候想搞清楚大脑里在发生什么，但我做不到这一点，我听到了它的模型就知道这就是我要做的，这可以和四年级人解释到底大脑里发生了什么，大脑里在发生什么？这个模型告诉我们，要把大脑里发生的事情想象成剧场，就像现在这里有很多的观众、专家，他们都是在听台上发生什么。台上有人在讲话、提问题、回答，这就是向所有观众进行广播。发生意识的时候，所有的听众听到了所传播的有意识的想法。

我之所以讲这点，是因为这个模型告诉我们可以让很多处理器同时工作，大脑里有100多亿神经元，100亿的处理器在听舞台上发生什么，作出回应。这个模型很神奇的地方在于告诉我们怎样做各种各样的事情。

沈向洋：您讲的这个模型，有意识的图灵机，是非常有意思的，刚开始研究AI的时候我们就想知道大脑怎么运作，等会儿回到这个话题。接下来问问姚老师，您在计算机科学领域取得很大的成就，最近您也非常关注于AI，包括非常重要的话题就是AI治理的话题。

之前薛教授的幻灯片里引用了您的一份报告，您一直在思考治理的问题，能不能进一步分享一下我们为什么非常紧迫关注这个问题？

姚期智：谢谢，我高兴能够来到这里，能够看到两个老朋友，可以有机会交流一下。

今天早上我们已经看到了很多人所讲的AI潜在风险，以及我们应该怎么去治理。我想做的就是首先讲讲风险，会和大家讲讲为什么从职业角度是非常关注人工智能治理问题。

AI风险来自于三个方面：一是像刚才所讲的是一种网络风险延伸和扩大，随着AI能力出现，传统的数据和网络安全方面的风险会被放大。现在，我们觉得管理数据安全已经是很困难的，出现了AI会困难100倍；二是没有意识到的社会风险，比如说AI非常强大，而且是可以有很多方式去使用，所以颠覆现在社会结构在短时间内发生的可能性，这是存在的。比如说有人提到，AI可能带来大规模未来的失业；三是最意思的层面，也和曼纽尔·布卢姆刚才讲的有关，也就是所谓的生存或者存在的风险。以前面临过存在的风险，生存的风险，当火车或者蒸汽机发明的时候，就有人有这样的担忧。近期大家担忧过核威胁，这都是非常合理的。这次，又出现了一个新的强大技术在改变世界，这一次颠覆性的力量可能比核生物威胁更加威胁。所有这些风险都需要很多专家来解决，不仅是科学家，还可能需要政府、律师、经济学家来参与，几乎涉及到每一个行业。

现在，我会讲一讲作为计算机科学家，一直在做理论研究，同时曼纽尔·布卢姆也在做很多理论研究。

为什么我们会对这个问题感兴趣？我对这个问题感兴趣出于两个原因：一是关心第一类和第三类的风险。AI相当于网络风险的放大，曼纽尔·布卢姆和我也都是专业研究密码学，所以从这个角度来说是很有意思的话题。AI可以说有些是无法解释，在数学上无法掌握，对我们来说这是一个挑战。对我们来说发展新的密码学就比较困难。现在由于AI出现了之后，网络风险处在非常早的阶段，和四五十年前情况非常相似。所以我们需要专家、需要有人关注这个问题；二是，第三类风险也是我很关注的，和可计算性有关。从AI破坏力角度来说，正是因为AI非常强大，具体说明了计算机复杂学研究的科学家所了解的情况。我们知道更大的算力会给你更多的知识和智慧，可以在理论上进行构建。但是，没有人预计到这样情况的发生，现在看到算力能解决很多以前不知道怎么解决的问题，这也是让人感到非常恐惧的。作为计算机理论学家来说，我是这么看的，我也想要理解这个问题。

现在简单来说，突然发现了一个方式，创造一个新的物种，这个物种比我们强大很多很多倍，我们是不是确定能跟它共存？如果无动于衷，就会被灭亡，这也是毫无疑问。这也是计算机的本质，或者是恶意行为者所带来的情况。

所以，很有意思的问题，或者作为计算机科学家看到了最有深度的问题，一方面我们把AI控制好，毕竟这是我们设计出来的；另外一方面，也不希望它被我们给破坏了，这样权衡是非常困难的。正如图灵所说，这是无法预测的，预测不了机器有了足够算力之后会做什么。所以，我对这个问题很感兴趣，正如曼纽尔·布卢姆所说，他也在做这个理论。他的工作和这个也是非常相关。

沈向洋：非常高兴听罗杰·瑞迪先生作为科学家介绍的情况，我觉得特别开心，最早研究计算科学的时候有四个领域，AI、语言和其他的几个领域，现在四个领域综合到一个AI领域。您那时候一直在做AI研究，您是非常有远见的一个人。那时候我去读书的时候很幸运作为您的学生，您总是充满震撼人心大胆的想法，您又是计算科学方面的教授，还打造了第一个机器人中心、第一个语言科技中心、第一个机器学习部，所有领域都是您主动提出来的。

接下来，应该推哪个新的机构？在CMU，在上海，我们接下来要推什么新的领域、新的方向？

罗杰·瑞迪：你要了解新的想法，首先要记住一点，每个技术它一方面产生新的机会也会带来问题。比如说汽车，作为一个新的技术，100年前如果告诉他们因为汽车技术出来以后，1亿年全球路上死掉100万人，我们不会用这个车，你肯定不会这么说。所以，我们一定不要把孩子和洗澡水一齐扔出去。

我们应该更积极主动做些什么事？每个工程师都应该做更好的一些事，我们做什么？怎么让他们效率更高？一个小时把一天的活都干了？这就意味着做很多投资、研究工作。希望我们能到那一步，不要去想着它的负面就不做了，要想着技术和未来带来的机会更多。以后在世界上每个人生产效率上涨10倍，因此GDP从100万亿生长到1000万亿。

沈向洋：我最想问您一个问题，也想告诉在座听众们再有一个小秘密，和图灵奖有关。曼纽尔·布卢姆也是非常优秀的老师，我们怎么评估一个老师厉害不厉害，主要看学生厉害不厉害。您作为图灵奖得主，您学生拿到图灵奖是最多的。

最后问曼纽尔·布卢姆老师，您的学生拿图灵奖数量最多，您知道姚期智先生这一辈子都在教育下一代学生，花了很多事，您怎么做老师这么成功？怎么能学点您的本事？

曼纽尔·布卢姆：谢谢你这么客气，我很幸运，我的学生都比我聪明，就这个原因。所以我不开玩笑，从他们身上学到了很多，从学生身上。跟他们学点东西很有意思，有时候说一句，有时候不了解、不懂，也不敢，一些少见情况下，有的人证明方式是不理解我就直说，我听不懂，不理解。有几次发现可能是证明手段里有问题，是错的。我再回到前面说的CTM，CTM特别有意思，组织1000万个处理器，很有意思的把它组成在一起，都是他们所知道的意识模型，最上面永远是总的管理者、执行官。CEO本人不一定知道你懂什么，你的专业能力是什么，不知道你有多少时间做多少事，不一定了解你所有了解的专业技能。所以，到需要做一件事的时候，不知道挑谁来做。CTM模型，我所知道的跟其他意识模型不一样，所以在CTM的意识模型里，没有一个中央决策者的角色。让每一个人都参与，每一个人都能够把最重要的信息放在最前台，这是很有意思的CTM的意识模型，这个和拥有总裁CEO不一样的。

沈向洋：非常感谢曼纽尔·布卢姆先生，大家好好读读你的论文，了解一下CTM的意识模型，非常有意思。最后请姚期智先生跟我们再谈谈AI未来如何？

姚期智：我们现在处于非常激动人心的历史时期，图灵测试的解决方案最后解决是我们的目标，就像开始罗杰·瑞迪先生说的，千万不要太多地强调它的安全性，不要太少地关注它的好处，我同意您的观点。借用曼纽尔·布卢姆在伯克利讲的那句话，我希望我们能做得到。

沈向洋：感谢姚期智先生，接下来谈一个小时都没问题，但是只有20分钟，所以就这点时间了。我再总结一句，曼纽尔·布卢姆您的学生里面有3-4个人又拿了图灵奖，太棒了！所以，我总结一点，用中文来说，我们都讲“名师出高徒”，曼纽尔·布卢姆教授讲的是“高徒出名师”，非常感谢！

专题统筹：秦前松