近期，人工智能领域因前谷歌 DeepMind 安全研究员乔希 · 恩格尔斯的离职及其发表的系列警告引发了广泛关注。这一事件将焦点重新引向了当前快速发展的AI技术所伴随的潜在系统性风险。
根据公开资料显示，乔希 · 恩格尔斯已离开谷歌 DeepMind，并加入了独立 AI 评估机构 METR。恩格尔斯在三周前离开了 DeepMind，其离职的原因在于他认为先进人工智能相关的风险已经变得过高，需要更独立的关注和监管。
恩格尔斯对AI的未来发展前景表达了极度的担忧，他警告说，乔希 · 恩格尔斯认为未来五年内 AI 系统造成巨大危害的概率“高得吓人”。这种警示并非孤立的观点，它反映出业界对于模型失控风险日益加剧的普遍焦虑。
从技术层面看，恩格尔斯警告说，如果对齐技术跟不上模型能力的增长速度，递归自我提升（RSI）机制可能会产生危险。他主张必须控制 AI 的研发节奏，核心观点是不能让模型能力的增长速度超过人类理解与管控它的能力。
除了乔希 · 恩格尔斯，其他业内人士也提出了类似的担忧。雅各布 · 考克森宣布辞职并警告说头部 AI 企业正在争相研发可自我迭代的超级智能，但这些企业缺乏配套充足的安全防护机制。此外，达里奥 · 阿莫代伊呼吁放缓 AI 的研发速度，目的是让安全体系有足够的时间跟上技术进展。
在应对风险和监管方面，恩格尔斯表示他在 METR 的工作重心是研究模型对齐失效的根源。同时，达里奥 · 阿莫代伊提议由独立评估机构获得前沿 AI 系统的访问权限，这代表了从外部监督角度提出的具体制度化建议。
这些警告共同描绘了一个图景：AI技术进步的速度正在远远超过其安全保障和伦理监管的成熟速度。业内专家们普遍关注的核心问题是“对齐问题”，即如何确保超级智能的目标函数与人类的价值观保持一致，避免出现不可预期的、具有破坏性的行为。
从时间线来看，恩格尔斯在三周前离开 DeepMind，随后发表了这些关于风险和节奏控制的观点。这标志着一位曾在顶尖研究机构工作的人士，将其关注点完全转移到了外部评估和制衡的角色上。
需要强调的是，所有关于AI系统未来危害概率、研发速度放缓以及独立机构访问权限的讨论，均基于乔希 · 恩格尔斯、雅各布 · 考克森和达里奥 · 阿莫代伊等人士在公开场合的声明。这些观点构成了当前学术界对前沿AI风险评估的一个重要视角，但其结论仍需持续的行业观察与更全面的技术验证来支撑。
信息来源
本文基于上述公开资料整理，未使用来源页面的图片、视频或嵌入媒体。