我们第一次说话时，乔普·迈德茨玛 (Joep Meindertsma) 的处境并不好。 当他描述一次警告侄女人工智能可能导致社会崩溃的对话时，他流下了眼泪。 之后，她惊恐发作。 “我每隔一天就会哭一次，”他在荷兰乌得勒支市的家中通过 Zoom 说道。 “每次我和父母或朋友告别时，都感觉这可能是最后一次。”
Meindertsma 31 岁，与他人共同拥有一家数据库公司，多年来一直对人工智能感兴趣。 但当 Open AI 三月份发布其最新语言模型 GPT-4 时，他才真正开始担心该技术可能对人类构成的威胁。 从那时起，他见证了 ChatGPT 聊天机器人（首先基于 GPT-3，然后是 GPT-4）的巨大成功，向世界展示了人工智能已经取得了多大的进步，而大型科技公司正在竞相追赶。 他还看到像所谓的人工智能教父杰弗里·辛顿（Geoffrey Hinton）这样的先驱者警告他们帮助创建的系统存在危险。 “人工智能能力的发展速度远远快于几乎任何人的预测，”Meindertsma 说。 “我们正面临社会崩溃的风险。 我们正面临着人类灭绝的危险。”
在我们谈话前一个月，迈德茨玛不再去工作了。 他对人工智能将毁灭人类文明的想法如此着迷，以至于他很难想到其他任何事情。 他觉得他必须做点什么来避免灾难。 不久之后，他发起了“暂停人工智能”(Pause AI)，这是一个草根抗议组织，顾名思义，该组织致力于停止人工智能的发展。 从那时起，他聚集了一小群追随者，他们在布鲁塞尔、伦敦、旧金山和墨尔本举行了抗议活动。 这些示威活动规模很小——每次不到 10 人——但迈德茨玛一直在高层结交朋友。 他说，他已经被邀请与荷兰议会和欧盟委员会的官员交谈。
人工智能可能消灭人类的想法听起来很极端。 但这个想法在科技行业和主流政治中都越来越受到关注。 Hinton 今年 5 月辞去谷歌职务，开始了一轮全球采访，他在采访中提出了随着技术进步，人类将不再能够控制人工智能的担忧。 同月，行业领导者——包括人工智能实验室 Google DeepMind、OpenAI 和 Anthropic 的首席执行官——签署了一封信，承认“灭绝的风险”，英国首相里希·苏纳克 (Rishi Sunak) 成为第一位公开承认他也认为存在“灭绝风险”的政府首脑。 人工智能对人类构成了生存风险。
迈德茨玛和他的追随者让我们一睹这些警告如何在社会中蔓延，创造了一种新的人工智能焦虑现象，并给年轻一代（其中许多人已经对气候变化深感担忧）提供了对未来感到恐慌的新理由。 民意调查机构 YouGov 的一项调查发现，去年担心人工智能会导致世界末日的人比例急剧上升。 Hinton 否认他希望人工智能的开发暂时或无限期地停止。 但他关于人工智能给人类带来的风险的公开声明让一群年轻人感到别无选择。
对于不同的人来说，“生存风险”意味着不同的事情。 Meindertsma 表示：“我个人担心的主要情况是大规模黑客攻击导致社会崩溃。”他解释说，他担心人工智能被用来制造廉价且易于获取的网络武器，犯罪分子可能会利用这些武器“有效地消灭 整个互联网。” 专家表示，这种情况极不可能发生。 但迈德茨玛仍然担心银行和食品配送服务的弹性。 “人们将无法在城市中找到食物。 人们会战斗，”他说。 “我认为数十亿人将会死去。”
但这位 Pause AI 创始人也担心，未来人工智能将发展到足以被归类为“超级智能”，一旦了解人类限制了人工智能的力量，它就会决定消灭文明。 他呼应了 Hinton 也使用过的一个论点，即如果人类要求未来的超级智能人工智能系统实现任何目标，人工智能可能会在此过程中创建自己的危险子目标。
这种担忧可以追溯到多年前，通常归功于瑞典哲学家、牛津大学教授尼克·博斯特罗姆 (Nick Bostrom)，他在 2000 年代初首次描述了如果要求超级智能人工智能创建尽可能多的回形针，假设会发生什么。 “人工智能很快就会意识到，如果没有人类，情况会好得多，因为人类可能会决定关闭它，”博斯特罗姆在 2014 年的一次采访中说道。 “此外，人体含有大量可以制成回形针的原子。 人工智能试图实现的未来将是一个只有很多回形针但没有人类的未来。”
人工智能研究是一个分裂的领域，一些专家可能会驳斥 Meindertsma 的想法，但他们似乎不愿意抹黑它们。 “由于进展迅速，我们只是不知道有多少科幻小说可以成为现实，”加州斯坦福大学人工智能安全中心联席主任克拉克·巴雷特 (Clark Barrett) 说。 巴雷特认为人工智能帮助开发网络武器的未来是不可能的。 他声称，这并不是人工智能迄今为止表现出色的领域。 但他不太愿意否认这样一种观点，即进化得比人类更聪明的人工智能系统可能会恶意攻击我们。 人们担心人工智能系统“可能会试图窃取我们所有的能量或窃取我们所有的计算能力，或者试图操纵人们做它想让我们做的事情。” 他说，目前这还不现实。 “但我们不知道未来会发生什么。 所以我不能说这是不可能的。”
然而，其他人工智能研究人员对假设性的争论缺乏耐心。 德国洪堡大学人工智能与社会实验室负责人特蕾莎·祖格 (Theresa Züger) 表示：“对我来说，人们声称有任何证据或可能性表明人工智能将具有自我意识并反人类，这是一个有问题的叙述。” “没有证据表明这种情况会出现，在其他科学领域，如果没有证据，我们不会讨论这个。”
专家之间缺乏共识足以让 Meindertsma 证明他的团队要求全球停止人工智能开发的合理性。 他说：“现在最明智的做法是暂停人工智能的开发，直到我们知道如何安全地构建人工智能。”他声称人工智能能力的飞跃已经与安全研究脱节。 关于人工智能产业这两部分之间的关系如何演变的争论也在主流学术界展开。 布鲁塞尔自由大学人工智能实验室负责人安·诺韦 (Ann Nowé) 表示：“这些年来，我发现情况变得越来越糟。” 她补充道：“当你在 80 年代接受人工智能培训时，你必须了解应用领域。”她解释说，人工智能研究人员花时间与使用其系统的学校或医院的工作人员交谈是很正常的事情 。 “[现在]很多人工智能人员都没有接受过与利益相关者就这是否符合道德或法律进行对话的培训。”
他说，迈德茨玛预计，政府强制暂停的行动必须由不同国家的政府在国际峰会上组织。 当英国首相里希·苏纳克 (Rishi Sunak) 宣布英国将在秋季主办人工智能安全全球峰会时，Meindertsma 将其解读为一线希望。 他认为英国非常适合确保我们不会急于走向世界末日。 “这是许多人工智能安全科学家的家。 这是 DeepMind 目前所在的位置。 议会成员已经呼吁召开人工智能安全峰会以防止灭绝。” 然而，苏纳克的声明还带有让英国成为人工智能行业中心的雄心——同时透露 Palantir 公司将把新的欧洲总部设在伦敦——这意味着英国主张全行业暂停的可能性很小。
SUNAK 愿意参与人工智能的生存风险，这意味着英国是 Meindertsma 的关注重点。 他的新招募成员之一吉迪恩·福特曼 (Gideon Futerman) 半跑半走地走过英国议会大厦，腋下夹着用塑料包裹的横幅。 他说，他的火车晚点了，并解释了为什么他自己的抗议迟到了。 福特曼戴着小圆眼镜和奇怪的袜子。 Pause AI 英国分公司的运作并不顺利。 从技术上讲，这次抗议并不是抗议。 这是为了表明对苏纳克峰会的支持，并向总理施压，要求其利用这次会议暂停峰会。 但今天在座的这群人也表明，一些年轻人的焦虑是如何加剧的。 在谈到通用人工智能时，该组织的横幅上写着：“不要建造 AGI”，这些字母滴着红色墨水，设计得看起来像血。
团体很小。 抗议者一共有七名，都是十几岁或二十岁出头的年轻人。 他们对人工智能的体验各不相同。 一名是政治系学生，另一名在一家致力于人工智能安全的非营利组织工作。 其中一些人有抗议气候变化的背景。 “气候变化和人工智能之间的一个主要相似之处在于，有一些公司今天冒着人们的生命危险，甚至在未来冒着更多人的生命危险，本质上是为了盈利，”福特曼说。 他同意迈德茨玛的担忧，或者说它们的不同版本。 他担心的未来场景之一是领先的人工智能公司可能会开发人工“超级”智能。 如果这种情况发生，他相信这些模型将有能力显着减少人类对未来的影响。 “他们的目标是建造一个世界末日装置，”他说。 “在最坏的情况下，这可能会消灭我们。”
本是抗议者中的一员，他是一位动物权利活动人士，一头红发，他拒绝透露自己的姓氏，因为他不希望自己的人工智能活动影响他的职业生涯。 抗议之前，我们去喝咖啡，谈论他加入 Pause AI 的原因。 “确实有一段时间，我觉得灭绝风险的论点是科幻小说或言过其实，”他解释道，随着他变得更加活跃，左耳上的耳环轻轻晃动。 “然后，随着 ChatGPT 和 GPT-4 的出现，我清楚地意识到这些人工智能模型的强大程度，以及它们的能力增长的速度有多快。”
Ben 从未与 Meindertsma 直接交流过； 他通过伦敦的一个联合办公空间认识了 Pause AI 的其他成员。 他相信他的动物权利活动为他提供了一个模板，可以帮助他了解不同智力水平的不同物种之间的动态。 “很难预测如果存在一个与人类不同、更聪明的物种，世界会是什么样子，”他说。 “但我们知道，对于其他物种来说，我们与智力不如我们的物种的关系并不好。 如果你看看人类与其他动物的关系，就会发现我们为了自己的目的而饲养和宰杀其中一些动物。 其中许多人被迫灭绝。”
他承认 Pause AI 警告的一些情况可能永远不会发生。 但他表示，即使他们不这样做，强大的人工智能系统也可能会加剧技术在我们社会中加速出现的问题，例如劳工问题以及种族和性别偏见。 “担心人工智能灭绝的人也非常认真地对待这些问题。”
当我第二次与迈德茨玛交谈时，他的心情好多了。 他有了新成员，他觉得全世界都在倾听。 他刚刚从布鲁塞尔回来，并受邀参加欧盟委员会的一次会议，但拒绝公开他会见的官员姓名，以免影响双方关系。 现在英国正在举办他花了数周时间争取的全球峰会。 “所以我觉得我们在短时间内取得了很大进展，”他说。
随着“暂停人工智能”的想法获得关注，政治家和人工智能公司仍在考虑如何应对——研究人员对于他们的担忧是否有助于为人工智能安全研究获得支持，或者只是传播对未来可能永远不会发生的情况的恐慌存在分歧。 迈德茨玛认为，智力就是力量，这就是它的危险之处。 但斯坦福大学的克拉克·巴雷特表示，每天，自以为聪明的人类都试图为自己夺取更多权力，却发现他们的努力受到专门设计来遏制权力的机构和系统的阻碍。 他可能不愿意预测人工智能将如何发展，但他确实相信社会已经做好了比“暂停人工智能”所认为的更充分的准备。 “我认为，在防止人们担心的这种失控效应方面，存在一些不应被低估的障碍。”
