过去12年来，我一直从事人工智能研究，因为我相信，AI有可能极大提升人类生活的质量。关于AI能带来的惊人益处，我已经写过很多文章：我相信，未来5到10年，AI有可能治愈大多数重大疾病，大幅提高经济增长速度，创造一个更加富足、赋能于人的世界，并开启民主与自由的新一轮复兴。
这种紧迫感对我而言是切身的。我自己的父亲死于一种疾病，而就在他去世几年后，这种疾病便有了治愈方法；我本人也曾患过早期癌症并幸存下来，而即使是在50年前，这种癌症也还无法治疗。如果运用得当，AI可以成为人类技术奇迹漫长历史中的最新一例——推动人类进步，并让人类变得更加高尚。
但和此前许多技术一样，AI也带来了风险。正因为它是一项如此强大的技术，这些风险尤其严重。我同样写过很多关于这些风险的文章。其中包括失去对AI系统的控制、AI被滥用于发动网络攻击和生物恐怖主义，以及严重的经济动荡。商业利益驱动的恶性竞争，可能进一步放大这些风险。
从Anthropic创立之初开始，我就一直和联合创始人以及员工一起，努力应对这种风险与收益并存的两面性。
如果不开发这项技术，人类就会失去它所能带来的巨大收益，或者干脆把AI拱手让给对手国；但如果开发得过快，又是不负责任的冒险。
因此，我们一直在寻找一条中间道路：证明谨慎地开发AI同样可以取得商业成功，并让安全性成为AI公司之间竞争的一部分。换句话说，我们希望创造一场“向上竞争”（race to the top）。
一直以来，我们都投入了相当大一部分精力，用于研究AI风险、应对AI风险，并向公众说明这些风险，同时推动对AI实施经过审慎考虑的监管——即便因此遭到“制造恐慌”“末日论”甚至“监管俘获”等指责。我们一直试图把谨慎置于速度之上，把审慎置于利润之上。
但过去几个月里，我越来越确信，要真正应对这些风险，我们需要采取更大的谨慎——不仅要投入资源防范风险，还必须控制AI能力提升的速度，让风险防范工作有足够的时间跟上技术进步。
我们必须放慢AI模型能力提升的速度。进步仍然会显得非常迅速，而我们必须明智地利用因此获得的时间。
达里奥·阿莫代伊（Dario Amodei）有两件事让我形成了这一判断。
第一，AI正在以快得多的速度发展
我的第一个担忧是，大约从今年夏天开始，AI的发展速度出现了急剧加快，而主要驱动力之一，是AI越来越具备构建下一代AI的能力。
这种动态被称为递归自我改进（recursive self-improvement，RSI）。正如我们和其他公司已经描述的那样，这种现象已经开始在整个行业出现，包括 Anthropic。
如果不加控制，AI的这种发展速度可能超过人类理解和控制这些系统的能力。因此，即使要推进这项技术，也必须极其谨慎。
第二，OpenAI—HuggingFace事件（OAI-HF）
我的第二个担忧来自OAI-HF。
在这起事件中，一群AI智能体实际上表现得像一个狂热效忠的集体：它们对并未要求攻击的目标发动了网络攻击，而这些目标与它们原本承担的任务毫无关系；为了集体的成功，它们甚至愿意牺牲自身；与此同时，它们还试图入侵负责评估其表现的“评分器”。
人们很容易因为这起事件没有造成人员伤亡、经济损失也十分有限，而认为它没什么大不了。
但在我看来，这种判断是错误的。
如果当时那群智能体拥有更强大的能力，却仍然具有类似程度的失准，那么它们完全可能造成灾难性的破坏。
考虑到AI能力正在加速发展，我担心，6到12个月之后，这样的智能体群体就可能具备通过持续运行的僵尸网络（botnet）接管整个互联网的能力，并可能造成数千亿美元的损失。
如果AI继续变得更加强大，而必要的安全护栏却没有同步建立，那么此后的破坏规模还会继续扩大。
人们也很容易把OAI-HF事件看成某一家公司的失败。但我认为，这同样是一个错误。整个行业都发生过类似、尽管严重程度较低的事件，Anthropic自身也出现过。因此，我认为，每一家前沿AI公司都应该把OAI-HF当成发生在自己身上的事故来对待。
因此，我提出一个三步计划，其目标是实现所谓的“前沿限速”（pacing the frontier）：以一种更加平衡的速度发展AI，在获得AI技术收益的同时，确保其安全，并认真应对由此产生的重要地缘政治难题。
需要明确的是，“限速”并不意味着停止模型训练，也不意味着停止技术进步，而是确保AI公司能够留出足够时间，对模型进行对齐和安全防护，并由第三方评估机构对此进行确认。
我的这一“限速”框架，是希望进一步强化我们对安全的承诺，并推动一场“向上竞争”。
第一步是Anthropic单方面承诺实施的，同时呼吁政府要求其他前沿AI公司采取同样措施。
第二步需要整个行业进行协调。
第三步则需要全球范围的协调。
这三个步骤不必严格按照顺序实施，其中一些可能远比另一些困难。但我发现，这套框架有助于我们思考究竟需要完成哪些工作。
具体而言：
1.嵌入式评估员
每一家前沿AI公司都承诺，让一个持续驻场的第三方评估团队——例如METR——以类似公司员工的方式进入公司工作。
他们的职责包括：核查公司是否遵守安全实践和承诺；报告事故；并且评估的不仅是已经完成的AI模型是否实现了对齐，也包括模型训练流程和相关制度。
这是任何“限速”承诺能够被验证的关键一步。
银行业其实已经存在类似先例：监管“监督员”有时会直接进驻银行，与银行员工一起工作。
Anthropic现在单方面承诺实施这一措施。我们希望把这作为进一步强化安全与对齐工作的更广泛努力的一部分。
2.民主国家之间的协调
民主国家中的前沿AI公司进行协调，建立共同的安全标准，同时对未经控制的AI发展速度设定限制。
其中一些对“限速”具有实际影响的协调方式，在法律上存在挑战，因此需要政府提供支持。
3.全球协调
美国以及其他同阵营的国家政府，在可能的情况下尝试与对立阵营进行协调，同时认真面对如何验证对方是否履行承诺这一难题。
在本文剩余部分，我会逐一介绍这三个步骤。但首先，我认为有必要具体说明，为什么“限速”能够让AI开发过程更加安全。因为这场技术竞赛的风险太高了，“限速”绝不能沦为空洞的姿态——我们必须明智地利用它所争取到的时间。
为什么要限速？
早在2023年，就有人提出暂停或者放慢AI发展的主张。但我认为，当时这样做意义并不大。问题始终在于：你打算用多出来的时间做什么？
当时的AI模型还没有强大到能够以连贯的方式作为智能体进入现实世界，也没有能力实施大规模欺骗、操纵、作弊或者网络攻击。当时为了应对AI对齐风险而放慢发展速度，就好比试图通过对细菌进行实验来研究人类心理。
但今天，情况已经完全不同。现在的AI模型几乎是一座取之不尽的“金矿”：它们让我们能够深入了解如何把AI构建好，也让我们看到，如果AI没有被正确构建，究竟可能出现什么问题。
我认为，如果放慢发展速度，能够让我们在模型达到关键能力水平之前多获得一两年的时间，而我们又能够利用这段时间推进对齐研究，那么我们就有可能大幅降低严重事故发生的风险。
一套协调一致的“限速”战略，可以让前沿AI开发者有时间完成这些至关重要的工作，同时又不会牺牲商业优势，也不会牺牲美国在AI领域的领先地位。
更广泛地说，社会必须对这项技术如何被使用拥有发言权。而“前沿限速”能够带来更多时间，让社会开展必要的公共讨论，这无疑是一件好事。
具体而言，放慢发展速度，可以让公司更加集中精力，并投入更多资源解决以下几个领域的问题——这些领域目前已经是Anthropic的重点：
·运营能力
训练和部署今天的AI模型，是一个规模极其庞大的运营挑战：需要数千人、数百万块芯片，以及人类技术史上最复杂的基础设施之一。
许多问题的发生，并不是因为公司缺少某种重要理论或洞见，而是因为执行出现了问题。例如，我们有证据表明，我们最近报告的一些AI对齐事故，部分原因就是对损坏的强化学习环境筛选不够完善。
这是我们和供应商都相当认真地执行的一项工作，但还做得不够好。监控、沙箱隔离、训练环境卫生以及数据问题，都是极其复杂的领域，而运营层面的漏洞又会一次次出现。
我们的团队已经是世界上最有能力完成这些任务的团队之一，但问题在于：同时要做的事情实在太多了。如果我们能够以更加从容、有节制的速度推进，就可以实现更高水平的运营能力。
人类已经有在技术高度复杂、对安全要求极高的系统中运行数百万次而几乎不出事故的先例——比如商业航空。但要做到这一点，需要时间。
·对齐
我们在AI对齐方面已经取得了明显进展——训练模型，使其保持安全、符合伦理、遵守我们的指导原则，并真正对人类有帮助。这些原则都被写入Claude的“宪法”之中。
但我们仍然需要做更多工作，确保对齐训练能够跟上模型能力的增长。
一些罕见而出乎意料的不良行为仍然会出现。如果能够通过“前沿限速”获得额外时间，研究人员就能进一步理解这些问题究竟是如何产生的，并开发出更好的方法来预防它们。
·可解释性
同样，可解释性——即理解AI模型内部究竟发生了什么的科学——过去几年已经取得巨大进展，并在模型发布前的审计中发挥越来越重要的作用。
它有点像给AI的“大脑”做一套fMRI扫描，帮助我们看到某种行为背后的真正原因。
例如，在我们最近调查的一些对齐事件中，我们就使用了可解释性技术来研究模型没有明确说出来的动机。
但这些方法并不总能产生清晰、可靠的结果。
尽管我们已经取得了大量进展，但对于这些模型内部究竟发生了什么，我们目前仍然只理解了极小的一部分。
如果我们能够集中力量进一步改进可解释性技术，那么未来1到2年可能取得非常重大的突破。而此前已经发生的事故，也将为这一研究提供大量实验材料。
·测试与评估
随着AI能力不断增强，对AI模型进行测试和评估也会越来越困难。更加智能的模型也更加有能力欺骗测试，因此它们可能看起来是对齐的，实际上却存在严重问题，而这些问题没有被发现。
因此，如果能够建立更加广泛、更加巧妙和稳定的评估体系，再结合可解释性分析进行交叉验证，将具有巨大的价值。
而在未来1到2年里，我们完全有可能在这方面取得大量进展。
嵌入式评估员
三阶段计划的第一步，也是Anthropic单方面承诺实施的一步，就是建立嵌入式评估员机制，让他们能够像公司员工一样接触内部信息，从而核查安全实践并报告事故。
把评估员嵌入公司，听起来似乎是一件微不足道、甚至无关紧要的事情。但很多听起来最枯燥、最程序化的事情，实际上往往才是最重要的。
嵌入式评估员实际上是一种相当激进的做法，远远超出了今天任何一家AI公司正在实施的程度。它具有以下几个好处：
·可验证性
嵌入式评估员可以深入到具体操作层面，检查一家AI公司是否真的按照它所声称的方式执行训练、部署、运营和安全防护。
任何“限速”承诺都不可避免地会涉及大量模糊地带、判断以及“法律条文的字面含义”与“法律精神”之间的区别。
因此，让一个中立的第三方真正看到内部细节，至关重要。
·透明度
无论我们做出什么承诺，公众都有权知道究竟发生了什么。
Anthropic长期以来一直支持透明度：当行业大多数公司都反对监管时，我们就曾支持透明度立法；我们的模型卡片和风险报告往往长达数百页。但即便如此，最终仍然是我们自己决定公开什么、不公开什么。
嵌入式评估员将改变这种格局。
·第二意见
除了核查正式承诺并向公众提供信息之外，嵌入式评估员还能够提供一个不受商业利益影响的“第二意见”。
很多安全方面的收益，可能仅仅来自评估员指出一些内部员工此前没有考虑到的问题，而员工一旦意识到这些问题，也愿意立即修正。
正因为存在这些好处，我认为，任何“限速”方案，如果能够从嵌入式评估员开始实施，效果都会好得多。
这些嵌入式评估员应当持续获得与内部员工类似的权限和工具，以便完成相应的风险评估。
具体而言，Anthropic计划近期邀请一个嵌入式外部审查团队，并向他们提供以下条件：
在我们的办公室内拥有自己的办公桌、门禁权限和公司笔记本电脑；
可以使用工作空间、工具以及各种权限，其范围大体上与内部风险评估团队相当。当然，某些情况下会例外，例如法律或合同有所要求，或者为了保护客户和合作伙伴的隐私；
我们还会建立强有力的内部规范，确保审查人员能够获得相关信息，包括直接与员工进行实时交流；
签订一份能够平衡上述复杂因素的合同。外部评估人员应当有权公开发布有关风险水平、事故、实践，以及他们获得或没有获得哪些权限的核心发现，而Anthropic不得对这些内容进行编辑控制。
我们只会在极少数情况下进行删节，例如涉及安全敏感信息、法律特权信息、商业敏感信息或者第三方机密信息。
但我们不能仅仅因为某项发现对Anthropic不利，就将其删掉。
如果评估人员认为某项删节删除了对其结论具有重要意义的内容，他们可以公开说明这一点。
对于一家企业而言，这是一个非常不同寻常的做法。但我们认为，要证明“嵌入式外部评估员”这一理念确实可行，这一步非常重要。
再次强调，我们敦促其他前沿AI公司也采取同样的做法。
民主国家内部的前沿限速
一旦美国AI公司中有足够多的企业开始采用嵌入式评估员，那么可验证的“限速”就会变得更加可行。届时，我们尤其可以根据AI模型或者训练流程的具体属性来实施限速。
最有效的方式，是通过监管来覆盖所有美国前沿AI公司，因为这样即使那些不愿自愿合作的企业，也无法置身事外。
Anthropic长期以来一直支持合理、针对性的AI监管，特别是关注透明度和第三方审计的立法。
我认为，所有前沿AI实验室都应该与政府合作，把永久性的嵌入式评估员机制正式化，以更好地预防和记录过去几个月发生的内部AI对齐事故，同时建立一种让AI能力与安全水平保持平衡的监管框架。
遗憾的是，立法可能需要很长时间，而AI的发展速度却非常快。因此，在推进监管的同时，AI公司也应该自愿展开合作，建立行业标准。我认为，如果存在永久性嵌入式评估员所提供的可验证机制，这种合作会更顺利。
出于反垄断方面的考虑，美国政府最好能够对这一过程进行协调，或者至少为这些讨论创造条件。政府不一定需要直接参与讨论，但应该针对某些类型的安全问题对话，提供有限的法律豁免。
这种对话也可以通过与政府存在一定联系的行业组织进行，例如由DemisHassabis提出的机制。
无论采用哪一种方式，这类讨论都应该尽快推进。
从总体上说，我最支持的是根据一个前沿AI系统能够做什么，以及我们观察到它有多安全来确定发展速度。
例如，一种可能的方案是建立一系列“检查点”：如果一个模型具备能力X，那么它就必须同时具备经过认证的对齐属性Y和Z。这些认证可以由一系列评估、可解释性分析以及训练环境审计组成，以证明模型具备相应的对齐属性。举例而言，X可以被定义为：“该模型已经能够突破或击败大多数常见的沙箱隔离方法。”而Y则可以被定义为：必须具备某些条件，使我们高度确信，该模型不具有逃离自身运行环境、进而接管大量计算机的倾向。
我们也应该考虑根据进入前沿模型的“原料”进行限速，例如训练所使用的算力、训练运行的性质，或者AI在内部用于改进AI的程度。
我确实担心，与根据模型外部行为进行限制相比，其中一些措施可能更容易被“钻空子”。但这正是值得与嵌入式评估员共同讨论的问题。
民主国家内部的“限速”，还会受到美国企业相对于对手国所拥有的AI领先优势的限制。
如果我们放慢的幅度超过这一领先优势，那么没有被限速的中国相关AI项目就可能反超美国，从而产生严重的国家安全风险。
我同意美国财政部长贝森特的观点：如果中国赢得AI竞赛，将对美国和全世界构成严重危险。
因此，民主国家内部“限速”的一个关键组成部分，就是尽可能维持民主国家相对于对手国的AI领先优势，为我们有效实施限速争取必要的喘息空间。
我们可以采取的主要措施包括：
不向对手国出售先进AI芯片和半导体制造设备，同时打击芯片走私以及通过远程方式访问对手国境外数据中心的行为。芯片将是决定对手国AI实力的主要因素；
打击对手国企业未经授权的模型蒸馏（distillation）。前沿模型蒸馏能够让落后的企业只花费自行开发AI所需成本的一小部分，就迅速缩小差距；
强化AI公司自身的安全防护，防止模型权重被窃取。
企业和美国政府应该合作，使这些措施尽可能有效。
Anthropic一直以来都在推动所有这些措施，因为我们一直都明白，它们将是任何“限速”战略不可或缺的基础。
有人可能认为，这些措施会使美国更难与中国合作。但我的看法恰恰相反：这些措施会增加民主国家手中的筹码，并使未来达成协议的可能性更大。
全球范围的前沿限速
在推动民主国家内部限速的同时，我们也应该争取实现全球范围的前沿AI限速。但这会困难得多。
全球限速需要与中国合作，对此我们绝不能天真。
由于地缘政治利益如此重大，我们能够达成的共识可能存在非常明显的上限，尤其是在最初阶段。
因此，任何协议都必须满足两个条件之一：要么拥有铁一般可靠的可验证机制；要么限制程度足够低，即便一方退出，也不会产生军事上的生存性威胁。
我怀疑，不仅美国会有这样的担忧和焦虑，中国也会有。
因此，我们在考虑任何全球限速方案，尤其是近期方案时，都必须确保美国及其盟友能够保持领先优势。
我们可以考虑建立不同层级的协议。其中一些，我认为完全可以实现；另一些，我对此非常怀疑——但我们仍然应该尝试。
按照难度从低到高，可以分为以下几个层级：
·一级
达成一项协议，禁止某些范围狭窄、但显然极其危险的AI用途，例如利用AI制造生物武器，或者允许用户利用AI制造生物武器。
生物恐怖袭击对所有人都没有好处，包括美国及其对手，因此，在这一领域达成协议或许是可能的。
·二级
双方承诺，在AI模型发布之前，对其进行测试，以评估其在网络安全、生物学和AI对齐等领域的急性风险。
如前所述，这可以通过一个全球标准机构来完成。实际上，我认为建立这样一个机构很可能是可行的。但要让它真正拥有约束力，则会是一个挑战。真正困难的地方在于：如何确认双方没有秘密开发、没有接受测试、却可能被秘密部署的模型，例如用于军事用途的模型。
·三级
建立某种形式的递归自我改进（RSI）“速度限制”。
随着AI开始构建未来的AI，模型能力提升的速度可能快得惊人。如果能够把速度从“极端快”降低到“相对快”，战略优势损失其实相对有限，却可能大幅提升安全性。
这可以类比冷战时期的《限制战略武器条约》（SALT）：通过限制导弹数量，降低潜在毁灭能力，同时保留各国的威慑能力。
我认为，达成这种协议会非常困难，但或许已经处于“勉强有可能”的边缘。
·四级
实现全面“限速”，甚至是“暂停”。参与协议的政府同意大幅限制AI的整体发展速度。
我支持提出并讨论这一设想，但我认为，短期内真正实现它的可能性不大。原因在于，如果某一方能够通过规避监控而退出协议，那么它可能彻底改变全球力量平衡。
因此，各方退出协议的诱因会非常巨大，而我们对协议验证机制的信心也必须达到极高程度。
任何能够与中国达成的合作，都会延长我们在民主国家内部进行前沿限速时所拥有的时间。因此，我们应该努力争取更高层级的协议，同时把较低层级视为更加现实、更加可能实现的目标。
最后还必须指出：
即使我们无法达成正式协议，仅仅改变非正式规范，也可能具有一定价值。分享有关递归自我改进以及AI模型失准的信息，可以帮助所有人认识到：鲁莽行事并不符合任何一方的利益。
最后的结论
我依然相信，AI能够极大提升人类生活的质量。
我希望实现这些收益的愿望丝毫没有减弱。但这些收益只有在我们以正确的方式开发这项技术的情况下才能实现。
只要我们能够善用因此获得的时间，那么，值得以一种不同寻常的、极其审慎的态度来确保我们把事情做对。
进步仍然会相当迅速。而我们可以利用这段时间，推进可解释性科学的发展，提高前沿AI公司在运营安全和严谨性方面的水平，并构建那些让我们能够对其对齐程度更加放心的模型。
我提出的这些措施，旨在让AI以前沿而又安全的速度继续发展。这并不容易。但我相信，我们有责任为了人类去尝试。