ETHShanghai 2023 峰会中，Skype 联合创始人 Jaan Tallinn 与 Web3 Social Club Podcast 主播 Afra Wang 讨论了人工智能的潜在危险，包括现实崩溃的风险，以及在人工智能研究中的谨慎和合作的必要性，同时他们还聊到美国和中国在人工智能领域的竞争以及全球合作的重要性。
以下正文为 Jaan 和 Afra 讨论内容的中文编译版本，链接为现场视频：
Afra：您在减少先进人工智能风险的研究机构上投入了大量的资金。是什么激发您关注这些灭绝风险？是有具体的事件或时刻引起了您的关注吗？
Jaan Tallinn: 大约在2008年，我在使用Skype的过程中发现了Eliezer Yudkowsky关于人工智能潜在危险的著作。Yudkowsky在这个领域已经写作了十多年，我很快被他的作品的数量所压倒。2009年3月，在加利福尼亚为Skype的业务而访问期间，我与Yudkowsky见面了四个小时，意识到人工智能安全是一个重要但被低估的话题。这次经历让我将离开Skype后的职业生涯专注于人工智能安全。
Afra: 所以那是在2009年，也就是十四年前的事了。当时，人工智能风险仍只是一种遥不可及的东西。我想当时可能并没有人理解你们具体在谈论些什么。
Jaan Tallinn: 有趣的是，有些人偶尔质疑我们的方向，想知道我们要走向何方。科幻作品，如《终结者》系列电影，在讨论这个话题时曾经经常被提及。然而，计算机领域的先驱者，如Alan Turing、Norbert Wiener和I. J. Good，都曾经表示，随着机器变得越来越聪明，使机器变得更聪明不再需要人类智能。当机器在进一步发展上优于人类时，可能会发生智能爆炸，接下来发生的事情将不再由人类决定。这些都是理论上的论证，但真正的分水岭是去年发布的ChatGPT。地球上很大一部分人都在疑惑，“到底发生了什么？”
Afra: 是的，完全正确。我认为吸引了每个人的注意力的一件事是三个月前，未来生命研究所（Future of Life Institute）发表了一封题为“暂停巨型人工智能实验”的公开信。这封信被认为是全球最具影响力的警告，引起了广泛的全球关注，不仅来自普通人，还包括埃隆·马斯克等有影响力的人物，他们都签署了这封信。我也签署了这封信，多次转发，并将其发送给我的朋友，以提高人们的意识。
这封信指出，人工智能实验室目前正处于一个失控的竞赛中，他们正在开发和部署机器学习系统，连他们自己都无法理解、预测或可靠控制。这封信引起了关注并引发了关于X风险的讨论已经超过三个月。
您认为这封信是否作为人类的火警，引发了必要的暂停和对我们使用和开发人工智能的反思？换句话说，您认为这封信在发起时实现了其目标吗？
Jaan Tallinn: 是的，我认为现在说是否会让每个人都暂停还为时过早。然而，这封信的一个元目标是要证明这些人甚至无法暂停六个月，竞争现在已经如此糟糕，需要政府干预。它的成就远远超出了我们的预期。由于信的产生引发了许多相关的讨论，很难确定确切的因果关系。有人可能会争辩说唤醒地球的真正事情是ChatGPT和其他一切，不管是一封信还是另一封信。如果我没有写这封信，其他人会写的。
一个合理的模型是ChatGPT引发了正在发生的一切，而FLI信使其成为主流，引起了西方政府的关注（我不知道它在中国有多大影响）。此外，FLI信的一个明显的下游作用是西方主要人工智能实验室负责人签署的CAIS人工智能安全宣言。我认为这是一个非常重大的成就，我至少能够得到部分功劳。
Afra: 在发布这封信后，您收到的最有趣的评论是什么？
Jaan Tallinn: 这很难说，因为有一系列媒体的兴趣、评论和讨论。
Afra: 我完全可以理解人们对这封信的反应。您所说的“暂停研究”是什么意思？我们会输掉竞赛吗？
Jaan Tallinn: 是的。有关“关于人工智能研究的开放信”（Open Letter on AI Research）的一个常见误解是，人们认为它要求总体上暂停人工智能研究。实际上，它侧重于目前主要在美国的大多数自由实验室中进行的前沿模型的训练，据我所知。这封信涉及当前的范式，不幸的是，这使整个人工智能领域从简单、透明、可读系统过渡到了大型、晦涩难懂的黑匣子系统。该领域已经从专家系统转变为了监督学习，其中智能由人工添加，然后转变为无监督学习，我们真正使用了数以万计的图形卡在一个巨大的数据中心中，但却将它们长时间地无人值守。
Afra: 对，上周我参加了由互联网档案馆（The Internet Archive）组织的Dweb Camp活动，该活动在红杉树林中的纳瓦罗营地举行，距旧金山以北两个小时车程，位于旧金山湾区。
在活动期间，我有机会见到互联网标准创始人Tim Berners-Lee以及人道技术中心创始人Aza Raskin。Aza在他的演讲中谈到了“人工智能困境”，这个概念自从我在YouTube上第一次看到他的演讲以来，我就一直思考着。
Aza警告我们，在社交媒体平台上的日常互动，如Twitter、TikTok和微博，以及我们使用的其他平台，如小红书（Pinterest的中国版），标志着人类与人工智能的首次接触。这种接触带来了许多负面后果，包括信息超载、上瘾、宣传、虚假新闻，甚至可能破坏民主。
这让我思考到“二次接触”的概念，它涉及我们与大型语言模型、生成式人工智能以及各种可能导致现实崩溃的生成内容的接触。从这个意义上说，人类可能注定要屈服于“二次接触”，现实崩溃将不可避免地到来？我们将无法区分真假，无法区分人类生成的内容和人工智能生成的内容。
Jaan Tallinn: 是的，我认为人道技术中心的Tristan在解释这个问题方面是一个很好的角色。他们非常擅长向人们传达这个问题。然而，我对这个问题有一个相当不同的观点。我们谈论的是一种前所未有的情况，可能会发生，也可能不会发生。它可能会在本世纪晚些时候发生，也可能会在今年晚些时候发生。我们不知道下一代人工智能有多强大。
每当谈论前所未有的情况时，你必须使用隐喻和引用从句来解释它们。Aza的表述，因为他们在社交网络方面做了很多工作，使用社交网络人工智能作为先例来说明可能发生的情况。在我看来，这低估了危险。一个更适当和更强大的先例是智人的创造和我们这个物种。重要的是要注意，智人是如此聪明，以至于其他人属无法在其引入后存活下来。与其将危险描绘成一种社交媒体上人工智能加强版的体验，我认为我们应该退一步，看看其他物种在智人引入后发生了什么，以及我们如何确保同样的事情不会发生在我们身上。
Afra: 是的，我完全同意。尤瓦尔·赫拉利（Yuval Noah Harari）经典的一句话是，人工智能对我们的现实世界的威胁就像核弹对物理世界的威胁一样。人工智能对我们整个物种——智人——的威胁是扭曲我们对智能的理解。
接下来，我想谈谈中国的问题。我有一个问题要问我们的中国听众。房间里的大象是美国和中国之间的激烈竞争。最近，来自a16z的马克·安德森（Marc Andreessen）发表了一篇文章称人工智能是我们最好的朋友。然而，他也承认人工智能的最大风险是如果中国在全球人工智能的主导地位上取得胜利，而美国和西方没有。
这显然是一种二元的和竞争的立场。此外，我注意到在所有的演讲中，包括您和Aza的演讲，都提到了涉及中国的两个不同的情景。
我的问题是，作为西方更广泛和有影响力的群体的代表，您对这种竞争持何种观点？您如何看待中国在人工智能对齐全球研究方面的贡献？我们如何促进中国的人工智能研究委员会与全球生态系统之间更和谐的合作与协同？今天，我们的讨论题目是“心智的交融：AI研究的协同”。
Jaan Tallinn: 是的，我的意思是，我在这个领域没有经过深思熟虑的想法。那些只关注全球竞争并将人工智能放入这个背景中的人犯了一个巨大的错误。他们没有足够尊重人工智能，并假设它容易控制，就像电一样。虽然可能会发生一些事故，我们可以从中吸取经验并获得更多的能力。
但这种方法就像假装风险不存在一样。这就像黑猩猩们讨论如何加速人类文明，以打败森林中的另一个部落。决定接下来会发生什么的将是人类，而不是黑猩猩。
重要的是要认识到，当前的人工智能范式是不可控的。控制人工智能的唯一方法是将其关闭，但它还不够聪明来采取反对措施。正如Max Tegmark所说，全球人工智能竞赛的唯一赢家是人工智能，而不是人类。我们不应该假设人工智能容易控制。
Afra: 上周，当我与Aza见面时，他提到他计划前往中国在不同的城市就人工智能风险发表演讲。我认为这非常重要，因为我没有看到在中国有很多关于人工智能风险的讨论。我主要看到的是关于如何赶上西方迅速发展的大型语言模型的竞争性学术讨论。对于人类如何团结起来应对这个潜在威胁，没有足够严肃的讨论。
Jaan Tallinn: 是的，另外一个方面，我认为在中国，社会更加注重控制，而不是确保事情按照可预测的方式发展。据我所了解，在中国使用“必应”进行搜索可能非常危险，因为这涉及到释放公司无法控制的人工智能。我认为对此要保持谨慎是负责任的，相比较美国没有那么严格控制，但在中国这种行为是不被准许的。
Afra: 我认为您在中国的声誉或形象更多地被认为是Skype的联合创始人。而且，我不知道您是否经常被问到这个问题，但您确实对技术沟通和连接人们的能力有深刻的理解。
然而，随着大型语言模型的出现，您如何看待这将改变人们的即时甚至视频沟通方式？
Jaan Tallinn: 噢，是的。我的意思是，这份文件不会包含关于当前一代人工智能或人工智能更广泛意义上不太智能的问题。它对最大战略情况没有意识，但思考当前一代的应用和风险是有价值的。很多人正在做这方面的工作，这是好事。
在涉及音频和视频内容以及虚假内容时，考虑到信任问题越来越重要。在这方面，区块链可以提供一些专业知识，或者用于在这个后真相社会中构建防范措施。在一个研讨会上提到，我们正在进入后真相的世界，没有人知道什么是真实的，也没有争议关于某个人拥有多少比特币。然而，有关事实的全球共识被编码在区块链中，这是非常难以伪造的。因此，我们可以利用这种新的能力来确保我们有验证的信息来源和内容。
Afra: 是的，我一直在阅读关于使用区块链技术验证您是人类身份的“人类证明”概念。Sam Altman投资了一个名为Worldcoin的区块链项目，它使用一个称为orb的硬件设备扫描您的生物特征，如虹膜。它通过验证您独特的人类虹膜模式来确认您在生物学上是智人。然后，它将您的信息编码到他们的信息系统中，并可能在将来为您提供普遍基本收入。你有什么想向关注的中国观众谈一些关于人工智能风险的事情吗？
Jaan Tallinn: 让我强调一下我已经提到的两个主要观点。第一个是不能低估人工智能的潜在威力是至关重要的。我们不能将其视为人类一直能够控制的东西。我们对其控制能力从这里延伸到无限。第二个观点是当前人工智能范式是不可控制的。我称之为“召唤和驯服”的范式。基于Transformer的理想化代码只有大约200行，一种简单的配方，分布在数以万计的显卡上，然后放置数月时间。它创造的思维空间并不是一种可控制的技术产生方式。我们正在喂养它，而不是去构建。
Afra: 我想借此机会宣传一下《AI困境》的演讲，这是一个很好的教育资源。人性科技中心在解释复杂的转型模型方面做得非常出色，使我们许多人都能理解。Transformer技术始于2017年，将各种模型都视为语言，我们现在正在看到这种边际增量进展在这个领域的累积效应。这就是为什么我们感到研究发展非常快的原因，这要归功于Transformer根本改变了人工智能研究的格局。我强烈建议大家观看《AI困境》的演讲。
Jaan Tallinn: 我认为区块链社区与人工智能安全社区之间存在有趣的接触点。实际上，在2017年，我们与以太坊社区的人组织了一次在牛津的研讨会，包括Vitalik Buterin在内的其他人。
加密货币社区一直是人工智能安全的强大支持者，为该领域做出了一些最大的资金贡献。此外，加密货币社区掌握了两个常人不知的知识。一个是他们对代理和相关的控制问题的熟悉。Vitalik写过一篇关于区块链和加密货币人士开发智能合约，控制人类的对称性的文章。与此同时，人工智能安全社区希望控制比人类更聪明但比人工智能更蠢的系统。这是一个有趣的对称性。区块链社区了解对抗性压力。
另一个领域是全球基础设施，包括数字基础设施。我们的数字安全性弱于我们的物理安全性，而人工智能目前正在使用不安全的硬件和消费者版Linux操作系统变体进行训练。他们对数据中心、操作系统和编程有了解。对于加密货币社区的人们来说，重要的是停下来思考，是否有其他可以为人工智能安全做出贡献的事情。
Afra: 确实。我曾与Zuzalu的一些区块链专家进行过交谈，他们提出了一个反乌托邦的场景。如果在区块链上存在一个邪恶的人工智能代理，他们极有可能利用其金融属性来操纵人们的动机并奴役他们，这个AI可以使用区块链代币来激励人们做坏事。我们可能不会被纳米机器人攻击，而是被一种生活在区块链上的人工智能所奴役。
Jaan Tallinn: 正是这样，我想到目前正在听的一档由Carl Shulman主持的精彩播客，他在其中与Turkish Patel进行对话。他们讨论了一个观点，即为了人工智能接管地球和宇宙的计划，它将需要大量的基础设施。问题是，这些基础设施是否将由人工智能自己以纳米技术帝国或类似形式开发，还是它将以某种方式破坏人类基础设施能力，最初是不知情的，然后激励人类开发它接管所需的基础设施。
他们的论点是，不明确为什么人工智能会想要利用人类的能力，但它可能会这样做，因为它可以操纵或激励人类开发它所需要的东西。人工智能尽快开发自己的技术的原因是，虽然人类很重要，但我们很慢。人工智能可能比人类快上百万甚至十亿倍，所以等待人类基础设施完成就像等待树木甚至山脉侵蚀。如果人工智能想要在运行速度比人类快上百万倍的情况下开发自己的技术，它可能不会依赖于人类。现在还不清楚它将走哪条路，但需要考虑的一点是：如何使我们的基础设施被人工智能的操纵的可能性变得更小。
Afra: 这次讨论与我们在Zuzalu时谈到的内容是一致的，将我们带回了现实，而不仅仅是科幻小说。很荣幸与您交流。谢谢。
