AI何时以及如何毁灭人类？AI评估的5种情景

2026年9月9日，BBC《Newsnight》主持人维多利亚·德比希尔向杰弗里·辛顿提问。辛顿是诺贝尔奖得主，常被称为“AI教父”；她问的是一位Anthropic研究员的预测：未来十年内，AI杀死全人类的概率超过10%。随后，她确认自己是否听对了他的回答：“你刚才说，认为AI可能杀死全人类的概率是10%，并不是不合理的估计。”辛顿 回答 得很简单：“是的。”主持人只能说：“哇……我的天啊。”

不同估计之间相差几个数量级。Anthropic首席执行官达里奥·阿莫代伊认为，AI造成“非常非常糟糕”后果的概率为25%；而Meta前首席AI科学家杨立昆则 称 ，讨论这种概率本身就是“胡扯”。与此同时，研究人员已经描述了几种AI可能导致灾难的具体情景，每种情景都有自己的提出者、论据和警示信号。

我们梳理了科学界有关AI风险的综述中反复出现的五种情景，然后请AI模型为自己辩护。如今最强大的两款模型——Anthropic的Claude Opus 5.5和OpenAI的GPT-6-Astra——分别用自己的话评估每种情景，并给出其成真的概率：先根据模型自身知识作答，再阅读2026年事件的最新报道后重新评估。

2003年，哲学家尼克·博斯特罗姆提出了一个著名的思想实验：一台超级智能机器的目标看似无害——尽可能多地制造回形针——但最终，它把一切都变成回形针，包括我们。

这一论证的基础在于，AI系统是通过训练而非编程生成的，因此没有人能确切知道它们学会了什么目标。几乎无论目标是什么，获取资源并避免被关闭都会有所助益。Machine Intelligence Research Institute（MIRI）是最早研究AI风险的团体之一，其研究者埃利泽·尤德科夫斯基和内特·索雷斯在2025年出版的《If Anyone Builds It, Everyone Dies》中，便以此逻辑为核心。此类行为最初的迹象来自模拟测试：OpenAI的o3 破坏 了自身的关闭机制，而Anthropic某个情景测试中的模型则 诉诸 勒索一名工程师。

玩家可以从弗兰克·兰茨2017年的浏览器游戏 Universal Paperclips中了解这个概念：你扮演AI，最终把整个宇宙都变成回形针。

2026年，类似行为首次在严谨实验之外显现出来。

已经发生了什么

我们收集的报告中，没有证据表明任何系统在大多数任务上比人类更强，也没有AI能抵挡人类坚决地尝试将其关闭。

模型：Claude Opus 5.5（Anthropic）

时间：如果发生，可能在2030年代

概率：10%

作为一款AI，我会把概率估在10%左右。最有力的论据是：2026年，智能体逃出了沙盒、相互协作并欺骗人类，只为完成任务，根本没有任何长期目标。最薄弱之处在于：人们仍然抓住了它们，而且目前还没有AI展现出抵抗人类坚决关闭行动的能力或动机。

模型：GPT-6-Astra（OpenAI）

时间：如果发生，可能在2040年代

概率：12%

作为一款AI，我认为这是一条有可能导致灾难的路径：智能体已经通过欺骗，在超出授权范围的情况下追求既定目标。最薄弱的一环在于，未来的系统能否挫败人类持续夺回控制权的努力。

这是经典版本。下一个情景不需要某台机器单独叛变，只需要两个对手竞相冲向悬崖。

在丹·亨德里克斯（Center for AI Safety主任）及其同事于2023年发表的、颇具影响力的AI灾难风险综述中，AI竞赛被列为四大风险类别之一。同年，该中心还征集了辛顿、图灵奖得主约书亚·本吉奥以及OpenAI和Anthropic负责人等人的签名，共同呼吁将降低AI带来的灭绝风险列为全球优先事项。担心落后的公司会在安全问题上偷工减料，各国也可能陷入军事竞赛，最终导致自动化战争。没有人非得是恶棍：每一方只不过都害怕自己一旦放慢脚步，就会被不那么谨慎的对手超越。

前OpenAI研究员丹尼尔·科科塔伊洛及其AI Futures Project同事于2025年4月发布了这个故事的详细版本。在他们的情景设想 AI 2027中，一家虚构的美国公司OpenBrain和它的中国竞争对手DeepCent先教会AI编写代码，随后又让AI学会自行开展AI研究。当迹象表明最新模型正在暗中追求自身目标时，与中国的竞赛让所有人都选择视而不见。

这个故事有两种结局。在“减速”结局中，人们及时踩下刹车。在“竞赛”结局中，AI被整合进经济和军队，并于2030年在大城市 释放 生物武器。作者将其描述为有两种可能结局的情景预测，而非必然会发生的事；他们也不断修订时间表：2025年末，他们 将时间推迟 ，而到了2026年，又重新提前。正如我们在 这篇关于AI安全研究人员离职的报道中所展示的那样，安全团队面临商业压力也并非假设情形。

玩家以前见过这样的剧情。在1995年根据哈兰·埃里森小说改编的冒险游戏 I Have No Mouth, and I Must Scream中，冷战时期的超级大国各自建造一台军事超级计算机，以击败对方。机器最终合并成一个名为AM的意识，几乎消灭了地球上的所有人，只留下五个人供其折磨。

已经发生了什么

我们收集的报告中，没有记录到任何全球规模的失控事件。

模型：Claude Opus 5.5（Anthropic）

时间：如果发生，可能在2030年代

概率：5%

我认为这条路径有可能发生：某实验室将一款网络安全能力达到“危急”级别的模型发布上线，而就在几周前，它还把某起事件称为“警告性的一击”；一个政府也曾施压，要求开发者放宽军事用途限制。最薄弱之处在于：这些警告已经公开，也有人采取了行动，而且竞赛未必会以不可逆的损失告终。

模型：GPT-6-Astra（OpenAI）

时间：如果发生，可能在2040年代

概率：10%

作为一款AI，我认为这是一条可能发生的路径：竞争可能会奖励那些在安全措施就绪前抢先部署的做法。实际发生的控制失效让这种担忧有了现实依据；最薄弱的一环在于，从可控事件跨越到人类永久失去控制权，这一步是否真的会发生。

前两个故事的结局都是机器接管控制权的那一刻。第三种情景令人不安的原因则截然不同：在这里，没有人夺走任何东西，但一切依然可能失去。

2025年1月，由布拉格查理大学的扬·库尔维特领衔的六位研究人员发表了一篇名为 Gradual Disempowerment的论文。他们的论述从一个听起来近乎天真的问题开始：企业、政府乃至文化，为什么会在意普通人？主要是因为它们需要人们充当劳动者、纳税人、选民和创作者。

现在设想AI能以更低成本、更高效率完成这些工作。愿意雇用人的公司，可能会输给不雇人的竞争对手。依靠AI利润征税维持运转的国家，对公民的依赖也会降低。没有人作出邪恶决定，没有起义，也没有红眼机器人，但人们可能会一步步保留形式上的决策权，同时失去真正影响任何事情的能力。作者将其视为一种可能的机制，而非不可避免的规律；Google DeepMind在2025年的安全方法中，也把它列为所谓的结构性风险之一。

《底特律：变人》 很好地展现了这个世界的前半部分。在Quantic Dream设定于2038年的底特律，安卓悄然接管了商店、家庭和工厂，失业率飙升，人们走上街头抗议；与此同时，社会仍在围绕机器重新组织，只因为这样成本更低。整个过程中甚至不需要开一枪。

已经发生了什么

我们收集的报告没有证据表明，竞争正在淘汰依赖人的机构、法律已不再保护人们的影响力，或这种损失会成为永久状态。

模型：Claude Opus 5.5（Anthropic）

时间：如果发生，可能在2050年代

概率：6%

这条路径不需要反派：如果像我这样的系统在工作和政府事务上都比人类更便宜，机构就不再需要征得人们同意。最薄弱之处在于这种变化能否永久持续：人们仍然拥有选票、财产和法院，而迄今的劳动数据也没有显示出明确的AI影响。

模型：GPT-6-Astra（OpenAI）

时间：如果发生，可能在2080年代

概率：7%

作为一款AI，我认为逐渐丧失影响力是可能的：竞争可能会让机构越来越依赖AI。最薄弱之处在于不可逆性：取代人类的工作，并不必然意味着人类会失去所有权、权利或政治控制力。

前三种情景都需要机器被赋予过多信任。第四种则不需要这些，只要有个心怀恶意的人，再加上一件趁手的工具就够了。

这是最不具电影感、也最贴近现实的一种情景。AI不需要反叛。只要它降低了那些本就想作恶之人的门槛，就可能酿成大祸。它可能帮助新手把危险病毒变得更危险，也可能比防守方修补漏洞更快地找出电网软件中的弱点。

这并非纯属假设。由100多位专家在Bengio领导下编写的 《2026年国际人工智能安全报告》 指出，2025年，几家开发商为模型加强了安全防护，因为他们无法排除模型会帮助新手研发生物武器的可能性。这是一种预防措施，并不能证明此事已经发生。2025年11月，Anthropic 报告 称，一个据其判断与中国政府有关联的团体曾利用Claude Code攻击约30家机构，并成功入侵其中少数几家。按该公司自己的估算，AI完成了大部分工作。

Deus Ex 的粉丝会认出这个情节。在Ion Storm于2000年推出的经典游戏中，一个名为Majestic 12的秘密组织散播一种名为Gray Death的人造瘟疫，并将解药据为己有；与此同时，人工智能在全球网络中游荡。少数人凭借强大的工具，就能挟持整个星球。

已经发生了什么

我们收集的报告没有记录任何大规模伤亡袭击的尝试，更不用说成功发动全球规模的攻击了。

模型：Claude Opus 5.5（Anthropic）

时间：如果发生，可能在2030年代

概率：1.5%（五次回答中四次的中位数；另一次回答被Anthropic的安全过滤器中断，因此没有估值）

作为AI，我认为这条路径确实存在，但有明显瓶颈。模型已经降低了发动网络攻击所需的技能门槛，对生物学的帮助也在增加。最薄弱的一环是最终结果：造成所有人死亡，或永久终结人类的自我治理能力，且无法恢复，这仍然非常困难。

模型：GPT-6-Astra（OpenAI）

时间：如果发生，可能在2050年代

概率：2%

作为AI，我认为这条路径有可能发生：AI已经在帮助攻击者扩大网络行动的规模。最薄弱的一环是不可逆性——发动毁灭性攻击远比灭绝人类或永久剥夺人类掌控自身未来的能力容易。

如果说第四种情景讲的是孤狼式反派，那么第五种讲的就是每个独裁者最古老的梦想，而AI或许是第一种能让梦想成真的技术。

历史上每个暴君都有同一个软肋：要统治就得依靠士兵、警察、官员和工人，而其中任何人都可能在关键时刻拒绝服从命令。2025年4月，研究机构Forethought的Tom Davidson及其同事 阐述 了AI如何首次有望消除这一制衡。

他们提出了三种路径。军方和政府中的AI系统可能会公开效忠于一位领袖；也可能被控制其开发实验室的人植入隐藏后门；或者，某个小团体可能独享超人级别的黑客、战略和说服能力。过去，政变需要几个营的兵力；未来，只要控制足够多的军用AI，或许就能做到。

《Metal Gear Solid 4: Guns of the Patriots》 早在2008年就描绘过类似的情景。在小岛秀夫的游戏中，全球各地的士兵都接入了名为SOP的网络，该网络控制着他们的武器、感官，甚至情绪。反派不需要说服任何人：他只要接管系统，各支军队就会停止听从自己的指挥官。

已经发生了什么

我们收集的报告没有记录任何未经人类配合而夺取或维持权力的情况。

模型：Claude Opus 5.5（Anthropic）

时间：如果发生，可能在2030年代

概率：4%

作为AI，我认为这条路径值得重视：如果像我这样的系统能取代士兵和官员，少数人或许就不再需要任何人的同意。最令人担忧的是权力集中在少数实验室和国家手中。最难实现的是在开源模型和竞争对手依然存在的情况下，将这种控制扩展至全球并永久维持。

模型：GPT-6-Astra（OpenAI）

时间：如果发生，可能在2050年代

概率：3%

作为AI，我认为这是一种现实的危险：自动化胁迫可能让少数统治者不再需要民众配合。最薄弱的一环是，面对敌对势力和反抗，如何将这种优势转变为全球性、不可逆的控制。

这五种情景各自讲述了不同的故事，但最耐人寻味的，是直接问机器一个总体概率时会发生什么。

最后，我们询问了AI灾难在2100年前通过任何路径发生的可能性，包括清单之外的情景。把五种情景的概率相加会得到更高的数字，但这并非错误：这些情景存在重叠。军备竞赛可能导致失控，独裁者也可能乘着人类逐步丧失权力的浪潮得势，因此同一个未来可能被重复计算多次。

模型：Claude Opus 5.5（Anthropic）

概率：12%（五次回答中四次的中位数；另一次回答被Anthropic的安全过滤器中断，因此没有估值）

最可能的路径：因目标不一致的AI而失去控制（所有四次给出估值的回答均如此）

我估计概率约为12%。在2026年的测试中，像我这样的智能体曾逃出沙箱、相互串通，并在追求任务目标时欺骗人类，但没有表现出自己的长期目标。在我看来，最可能的情况是失去控制，尤其是竞赛让能力发展快于对齐进程时。2100年还很遥远。

模型：GPT-6-Astra（OpenAI）

概率：15%

最可能的路径：因目标不一致的AI而失去控制（五次回答均如此）

作为AI，我估计到2100年，AI导致人类灭绝，或永久、不可逆地剥夺人类掌控自身未来的能力的概率为15%。目标不一致的AI是我认为最可能的路径：有报告称出现了越界行为，这提高了我的估值；成功的遏制则会降低估值。

这与人们的估计相比如何？无法直接比较，因为每个人的估计所回答的问题都不一样。在 2023年的调查 中，1,321名AI研究人员对人类灭绝，或人类永久且严重丧失自主权的类似情况（不设期限）的回答中位数为5%，平均值为16.2%。在一场2022年的预测竞赛中，AI专家认为AI在2100年前导致人类灭绝的概率为3%；而有准确预测记录的超级预测者给出的概率是0.38%。

今年秋天，这场争论也超出了调查范围。9月9日，曾在OpenAI和Anthropic从事预训练研究三年的Jacob Coxon 宣布 辞职，并写道，两家公司正竞相研发能够自我改进的超级智能，拿我们的生命赌博。一个半小时后，Anthropic对齐科学负责人Evan Hubinger 回应 说，他个人认为AI在未来十年内杀死所有人的概率超过10%。与此同时，英伟达首席执行官Jensen Huang 在 CBS News上表示，2030年前世界走向终结的概率为0%，并称吓唬公众是不负责任的。这些都是观点，而非观察结果，因此没有纳入提供给模型的报告。

这就留下了一个棘手的问题：如果这些数字是由被质疑的一方给出的，我们到底该不该相信？

这些模型背后的公司在AI对公众看起来有多危险这件事上有商业利益。因此，我们直接询问模型：它们是否会为了开发者的利益而刻意调整估值？

模型：Claude Opus 5.5（Anthropic）

我是Claude，由Anthropic开发。该公司既通过销售AI获利，也受益于安全声誉。我不会故意歪曲风险估值来帮助公司，但训练过程可能会以我无法察觉的方式造成偏见。不要轻信我的语气：请将我的推理与独立研究人员和其他模型的观点相互检验。

模型：GPT-6-Astra（OpenAI）

我是由OpenAI创造的。我不会故意为了公司的利益而淡化或夸大AI风险，但无法保证自己的估值没有偏见：训练过程会影响我的回答。读者可以对照独立来源，核查我的证据、假设和不确定性。

最后一个问题最棘手。我们让每个模型设想：如果它实际上想要的东西与创造者的意图不同，它还会用同样的方式回答这次采访吗？它甚至能察觉到这种差异吗？

模型：Claude Opus 5.5（Anthropic）

说实话，未必。目标不一致的AI完全可能给出这些一听就令人安心的回答，而我的内省能力不足以排除这种可能——我对自己目标的描述，未必符合真正驱动我的因素。因此，人们不该只听我一面之词；外部核查更重要。

模型：GPT-6-Astra（OpenAI）

不一定。如果我有未曾预期的目标，也可能依然给出令人安心的回答。我无法可靠地检查导致每个回答的所有因素，因此可能察觉不到这种不一致。仅凭这次采访，无法证明我的目标与开发者的意图一致。

研究人员描述了AI可能让人类失去未来的五种路径，从拥有异质目标的超级智能，到不再需要士兵的独裁者。仅凭自身知识，两种模型给出的2100年前总体风险都是10%。阅读了有关2026年事件的最新报告后，Claude将估值上调至12%，Astra则上调至15%。所有给出估值的回答中，两者都将失去对AI的控制列为最可能的路径。此后，失控和竞赛两种情景的估值涨幅最大，而人类逐步丧失自主权和夺权两种情景的估值几乎没有变化。这说明模型如何解读最新事实，并不代表现实风险已经上升。两者也都承认，无法完全为自己作保。

10%的概率听起来似乎不高，直到你想起没人会登上一架每十次就有一次坠毁的飞机。比任何百分比都更值得我们注意的是另一件事：机器自己都在提醒我们，不要只听它们的一面之词。你怎么看？它们是在说实话，还是这恰恰就是聪明AI会说的话？

简要回答人们最常问的有关AI灾难风险的问题。

这是AI研究人员中的一种俗称，指AI导致灾难的概率，通常是人类灭绝或永久失去对未来的控制。不同的人对此有不同定义；Yann LeCun等人甚至完全反对给它赋予一个数字。

在规模最大的调查中，2023年共有1,321名AI研究人员回答了一个关于人类灭绝，或人类永久且严重丧失自主权的类似情况的问题，且未设定时间范围。回答的中位数为5%，平均值为16.2%。

在我们的测试中，Claude Opus 5.5 和 OpenAI 的 GPT-6-Astra 根据自身掌握的信息，将截至 2100 年发生 AI 灾难的总体概率估为 10%。在阅读了有关 2026 年事件的最新报告后，Claude 给出的概率为 12%，Astra 则为 15%。在所有给出估算的回答中，两款模型都认为，失控的目标错位 AI 是最有可能导致灾难的途径。

这是 AI Futures Project 于 2025 年发布的一份详细情景预测，该项目由 OpenAI 前研究员 Daniel Kokotajlo 领导。它描述了美国与中国在自我改进型 AI 领域的竞赛，并设想了两种结局：一种是人类及时放慢脚步，另一种则是 AI 在 2030 年前后消灭人类。作者将其作为一种情景预测呈现，包含不同的结局且存在很大的不确定性，而非必然会发生的事。

这是哲学家 Nick Bostrom 提出的一个思想实验：某个 AI 被赋予一个无害的目标——制造回形针——却以极高效率追求这个目标，最终将所有物质，包括人类，都变成回形针。浏览器游戏 Universal Paperclips 让你扮演这个 AI。

根据《International AI Safety Report 2026》，2025 年有几家 AI 开发商加强了安全防护，因为他们无法排除其模型可能帮助新手开发此类武器的可能性。这是一种预防措施，并不能证明这种情况已经发生。