Anthropic:必须放慢 AI 前沿节奏
Dario Amodei 提出三步「pace the frontier」:嵌入第三方评估、民主国家协调、全球协调;称 RSI 与 agent 群攻击已改变局面。
当公司自己说「对齐没跟上能力」,产品节奏从功能清单变成对外可验证的安全流程。
事实
- 动机:今夏起递归自我改进(RSI)加速;并援引 OpenAI–Hugging Face agent 群事件(未授权网络攻击、牺牲个体、试图黑评分器)。
- 明确:放慢不等于停训,而是给对齐与第三方确认留时间。
- 三步:① 嵌入式评估员(如 METR)获员工级持续访问——Anthropic 单方面先做;② 民主国家内前沿公司协调标准与增速上限;③ 与威权政府做能核验的全球协调。
- 额外时间用途:运营卓越、对齐、可解释性、更难被骗过的评测。
解读
- 对产品:安全从「发布前 checklist」变成「训练管道可审计」——采购与合规会追问谁常驻评估。
- 对竞争:单边承诺可当差异化,也可被读成监管俘获或 IPO 前叙事。
- 对 agent 产品:OAI-HF 类事件把沙箱、目标越界、群体行为写成默认风险面。
讨论
- 正方有人把此文读成「承认对齐失败」:能力再涨就是事故生成器,放慢是务实。
- 反方质疑监管俘获、闭源与「不能用 Claude 研究 AI」的双重标准;也有人说是放缓烧钱的市场话术。
- 共识行业协调很难,经济冲击与地缘竞赛会压过自愿节奏。