机器智能有一天会统治世界的想法长期以来一直是科幻小说的主要内容。 但鉴于消费者级人工智能工具的快速发展，过去几个月这种恐惧比以往任何时候都更接近现实。 生成式人工智能的热潮同样激起了人们的兴奋和忧虑，让许多人对这种显然强大但仍处于萌芽状态的技术的未来走向感到不安。 例如，本周，非营利组织人工智能安全中心发布了一份简短声明，警告社会应该像对待核战争和流行病一样认真对待人工智能，将其视为生存威胁。
成绩单
劳伦·古德：迈克。
迈克尔·卡洛尔：劳伦。
劳伦·古德：我想我们今天应该谈谈我们自己的灭绝。
迈克尔·卡洛尔：你的意思是作为记者、播客还是作为人类？
广告
劳伦·古德：也许两者都有。
迈克尔·卡洛尔：太好了。
劳伦·古德：是的。 是的。 这是另一个关于人工智能的播客，但我认为人们真的会想听这个。
迈克尔·卡洛尔：那么我能问一下，我们什么时候才能给人们带来一些真正充满希望的东西呢？
劳伦·古德：嗯，实际上我认为这也是节目的一部分。
迈克尔·卡洛尔：好的，太好了。
劳伦·古德：那么让我们开始吧。
劳伦·古德：大家好。 欢迎来到小工具实验室。 我是劳伦·古德。 我是《连线》杂志的资深作家。
迈克尔·卡洛尔：我是迈克尔·卡洛尔。 我是《连线》杂志的高级编辑。
劳伦·古德：今天我们的作家同事威尔·奈特从马萨诸塞州剑桥加入我们。 威尔，很高兴您回到小工具实验室。
威尔·奈特：你好。 很高兴回来。
劳伦·古德：有一天，威尔，我们会联系你并说：“你想谈谈猫的小玩意吗？” 但现在你完全处于人工智能覆盖的领域。 这就是我们要请您谈论的内容。 是的，我们再次谈论人工智能，但这一次是一群技术专家的声明，他们警告人类面临生存威胁。 这是本周早些时候科技界听到的一句话声明。 “与流行病和核战争等其他社会规模风险一样，减轻人工智能带来的灭绝风险应该成为全球优先事项。” 该文件来自非营利组织人工智能安全中心，由人工智能开发领域的领军人物签署。 现在，这显然不是我们第一次被警告人工智能的危险。 我们的一些听众可能还记得三月份数百名顶级技术专家和研究人员呼吁的暂停，但到目前为止还没有真正实现暂停。 但所有这些世界末日警告都让我们想知道，对于人工智能潜在的危害，我们应该相信什么？这些研究人员和技术专家中谁现在提供了最值得信赖的观点？ 威尔，我们想邀请你来谈谈这个。 首先，稍微向后走一点。 请告诉我们一些关于人工智能安全中心的声明。 是什么促使了这一点？
Will Knight：是的，所以我认为促使这封信以及上一封呼吁暂停的信在很大程度上是我们在这些大型语言模型中看到的进步，最引人注目的是 GPT-4，它为 ChatGPT 提供了动力 。 有些性能刚刚超出了人工智能工作人员的预期。 他们预计有些事情需要 10 年才能解决，或者如果没有新技术，事情会变得更加棘手。 突然之间，这个模型能够做一些类似于某种推理和某种抽象思维的事情，即使这是否真的是有争议的。 肯定有过这样的时刻，有些人，我和不在远处的人工智能研究人员交谈过，根本不担心存在风险，他们已经意识到了这一点。 我认为这是触发这一事件的原因之一。 但我们也应该认识到，人工智能研究界中有这样一群人，多年来一直在担心，他们一直在谈论存在的风险，这是他们一直以来的一种哲学问题。 我认为这在某种程度上重新浮现了很多这样的观点，我们看到相当不同的观点被融合在一起，形成了一个非常令人震惊的阅读声明。 我认为重要的是要认识到有很多人工智能研究人员根本不担心这种威胁，并提供了更多的观点，并表示，当涉及到偏见或偏见等问题时，人工智能会带来更直接的威胁。 传播错误信息或在其提供的内容中犯错，以及气候变化或其他对人类构成更直接风险、更切实风险的问题。 我认为这是一个很好的问题，但解开这个问题有点棘手。
Michael Calore：在过去六个月左右的时间里，这是一个令人印象深刻的进步，任何使用过 Bing Chat 或 Google Bard 等工具的人可能都会对它的功能印象深刻。 但就我自己而言，这并没有让我思考核战争和全球流行病以及这些专家和研究人员提出的一些警告。 你如何推断这一点？ 人工智能将如何真正毁灭人类？
威尔·奈特：这是一个很好的问题，是的，我自己一直在努力理解这一点，并且我一直在与一些已经认识到这一点的人交谈。 有一个叫 Sam Bowman 的人，他是纽约大学的研究员，加入了 Anthropic，这是一家致力于安全的公司之一，他有一个新成立的研究实验室，专注于安全。 因此，这些人的论点是，或者像他这样的一些人的论点是，这些系统在某些方面显示出比预期更智能的迹象，并且它们有可以以难以预测的不透明方式实现的目标。 ，有时会令人惊讶。 但随后他们据此进行推断，并说未来还有很长的路要走，但他们也说我们不知道能走多远，因为事情进展得更快。 因此，多年来人们一直在研究这些人工智能系统，他们能够让它们绊倒并说：“啊，这就是它与人类智能不匹配的原因。” 有了 GPT-4，在某些情况下他们就不会再犯错了，他们可以做一些他们认为“嗯，我根本没想到它会这么做”的事情。 我认为这种触发就像一种发自内心的想法，认为某件事智取了人们，然后当你要求它解决问题并且它以意想不到的方式解决问题时，他们会想象它可能被赋予这样的目标，我不’ 我不知道，为一个社会或某件事做一些非常重要的事情，然后达到非常令人惊讶和冒险的目的。 鉴于 Bing Chat 总是会出现故障并出错，这似乎确实是一个巨大的飞跃或推断。 但我认为这就是它的核心，这种技术的理念在某种程度上有着根本上的不同，它是一种智能，它比我们更聪明，它可以互动，有时甚至可以智取人类。 我认为这就是它的来源。
劳伦·古德：这与它是否有感知能力是同样的担忧或相关的担忧吗？
威尔·奈特：不，我不这么认为。 我认为感知力的问题取决于你问的是谁。 有些人会争辩说，所有类型的系统都可以有感知能力，即使它们不是生物系统，对此有各种各样的观点。 但我认为很多人，至少与我交谈过的人，会说存在这种风险并不需要理智。 无论它是否真的有感知能力，无论你是否可以说它有感知能力，它都可能失去控制并做出非常不可预测的事情。
劳伦·古德：威尔，你正在与这个领域的很多研究人员和技术专家交谈，老实说，有时感觉有点像抢椅子。 好吧，当然，人们可以对新闻业说同样的话，但让我们关注人工智能。 其中很多人都来自谷歌或同一学术机构，或者他们曾经在 OpenAI，现在他们在 Anthropic。 除了最明显的参与者之外，很难找出关键参与者，并找出他们的一致和分歧之处。 您认为目前对人工智能最直言不讳的人以及最分歧的观点来自哪里？
威尔·奈特：嗯，我的意思是，现在一些最直言不讳的人是那些拥有这些既得利益的大公司的人。 这是 OpenAI 的 Sam Altman 或谷歌和微软的高管。 我认为他们非常直言不讳，原因有很多，而不仅仅是对人工智能的担忧。 正如你所说，确实感觉存在着一种有点乱伦的世界，人们喝了超人人工智能的酷爱饮料，非常接近。 还有一些人，比如撰写了第一篇指出这一点的论文的研究人员，例如谷歌的 Timnit Gebru 和 Margaret Mitchell，他们撰写了关于大型语言模型的真实、切实的、当前的风险，例如它们捏造事实和误导性的风险。 当时在谷歌工作的人要么被解雇，要么被要求离开，具体取决于所讲述的故事。 我确实看到了这种分歧，人们更关注短期风险，并对这种长期存在焦虑的观点感到沮丧，这种观点似乎来自很多、大多数倾向于 拥有很多最大的经济权力和利益，然后有人警告我们今天应该处理什么，并担心这会分散注意力。 然后，是的，杰弗里·辛顿（Geoffrey Hinton）是一个有趣的例子，因为他是人工智能领域最著名的人之一，也是开发深度学习或开创深度学习的人之一，深度学习支撑着这些模型中的所有机器学习。 他最近改变了自己的立场，变得更加担心，或者变得更加直言不讳。 他离开了谷歌，并表示我们需要开始担心这样做的风险。 我认为，他实际上既担心短期风险，也担心长期风险，但他对人工智能失控并最终接管或失控的担忧已经成为所有头条新闻，人们都关注这一点 。 但我认为他对这两个问题都有些担心。
迈克尔·卡洛尔（Michael Calore）：我们已经看到了两封大型公开信，警告人工智能当前和未来的风险。 我们什么时候能看到第三部，谁来写？
威尔·奈特：是的，下周，我猜每位世界领导人都会签署。 我确实认为，人们因此而不会认真对待人工智能的一些真正问题，这是一个真正的风险。 我的意思是，还有很长的路要走。 因此，如果人们真的担心问题，那么与这种世界末日的东西保持一致是一种极端的方式。 我能感觉到可能会有更多的强烈反对。 我的意思是，这种情况已经发生了，但我可以看到更多的人不会那么认真地对待这些人。
劳伦·古德：是的，正如你的报道所提到的，威尔，这封信并没有真正解决你之前提到的偏见、监视或错误信息等更直接的伤害。 因此，你确实想知道，对重大生存威胁的关注是否会分散我们此时此刻应该关注的事情。 我认为这实际上是我们下一部分的一个很好的延续。 我们先休息一下，然后再回来讨论人工智能监管。
[休息]
劳伦·古德：本月早些时候，生成式人工智能领域最著名的人物之一、OpenAI 的运营者萨姆·奥尔特曼 (Sam Altman) 在国会就 ChatGPT 等产品的影响作证。 他不仅用基本术语解释了这项技术的工作原理，而且实际上呼吁进行某种形式的监管，告诉国会应该与该领域的公司合作，在这项技术完全失控之前找出规则和护栏。 威尔，当我几周前第一次读到此事时，我不得不承认，我想知道这些监管呼吁的诚意。 科技行业在华盛顿有着悠久的历史，它似乎希望与立法者合作，但最终过多的监管会压垮他们的业务。 为什么 OpenAI 呼吁护栏？
威尔·奈特：是的，我认为这在某种程度上与我们之前看到的情况有所呼应。 我们还看到微软制定了监管人工智能的蓝图。 据称，谷歌正在与欧盟合作，在制定适当的法规的同时，解决一些监管问题。 我认为这是一种，他们知道一些监管即将到来，所以说“哦，我们欢迎它”让他们看起来并不敌对，而且他们也许也可以塑造它。 我认为还值得认识到政府人员实际上不知道的两件事……总的来说，他们不知道这些东西是什么。 因此，他们非常乐意在某种程度上将自己交给专家处理。 研究它的专家会说，“我们是真正理解这一点的人，这就是你监管它的方式。” 他们在理解技术方面占据上风，而且在政府内部，我和政府中的一些人交谈过，他们看到了一项技术，我的意思是，他们知道存在风险，但他们 看到经济学家所说的一项技术可能对生产力和经济具有巨大价值，使经济增长，并且美国在这方面领先于其竞争对手。 所以他们什么也不想做。 我认为他们最担心的可能是意外地阻碍了这项技术。 我认为像萨姆·奥尔特曼这样的人可能知道，人们不会对围绕技术进行真正的严格监管有太大兴趣，但也只是试图装出一张好脸，帮助塑造它们，真的。
迈克尔·卡洛尔（Michael Calore）：另外，我觉得当科技领域的大公司的首席执行官谈论监管时，他们真正做的是把自己定位为该领域的专家，这增加了监管的力度。 他们在谈话中所扮演的角色的重要性。 这使他们成为不可忽视的声音。 这使他们成为每个人都必须追随的力量。 这实际上是为了夸大他们对社会的重要性并使他们处于更强大的地位，不是吗？
威尔·奈特：是的，没错。 这是真的。 事实是，他们甚至还没有公布这些人工智能模型中最强大的 GPT-4 的工作原理细节。 他们可以说：“好吧，我们知道如何控制它，因为我们是唯一有权访问它的人。” 我的意思是，这是它的问题之一。 我认为如果有某种东西是强大的，那么就有一个真正的论据表明许多科学家应该有可能研究它并检查它。 他们还没有说过他们觉得要开放它并使其更加透明。
劳伦·古德：这就是欧洲问题的核心，谷歌，对吧？ 几周前我们都在报道 Google IO，其中出现的一件事是，哦，实际上，他们的生成式 AI 聊天工具 Bard 在欧洲国家不可用。 我们的一些同事争先恐后地报告这一点，因为谷歌展示它的方式有点像，“这里，这是这个改变世界的工具。” 但事实证明，世界上有很大一部分地区无法使用它，这是因为这些地方存在的监管框架。
威尔·奈特：是的，这是一个非常大的问题，美国是否可能采取某种类似的法规来要求更高的透明度。 但我今天读到一个故事，里面说拜登政府对此存在很大分歧，而且有很多人反对我们应该这样做的想法，因为，再一次，因为 他们不想阻止这一点。 我们已经在其他技术中看到了这一点，比如自动驾驶汽车。 他们根本不想对其进行监管，因为他们认为这将是一项巨大的、令人惊讶的强大技术，而美国将在这方面处于领先地位。 这是可以理解的。 但现在我们面临着很多关于这些系统的可靠性的问题，他们不得不引入更多的法规。 是的，我想这可能会重复。
劳伦·古德：您认为在不久的将来我们会看到围绕人工智能的真正监管的可能性有多大？
威尔·奈特：我认为我们会看到一些监管。 我认为很明显，存在这种兴趣，而实际上所有这些事情都处于紧张状态的原因之一是，美国以及中国和欧洲等国都热衷于在监管方面摆出自己的立场 。 因为如果您是制定法规的人，那么它们通常会被其他地方采用。 它可以是一种领导角色。 我认为会有一些监管，但我认为美国的监管很可能相当薄弱，相对来说是最薄弱的。 是的，什么是真正有趣的问题。 我一直在与好莱坞的一些电影制片人和作家交谈，他们对人工智能是什么、可能造成什么样的威胁真正感兴趣，他们正在思考造假、人工智能造假，我认为这是最明显的问题之一 也许是围绕对深度伪造品的某种监管，要求对深度伪造品进行一些限制，或者平台不允许未经许可分发这些内容。 但这只是整个生成式人工智能堆栈的一小部分。
