一名前 Google DeepMind 研究人员曾从事通用人工智能安全研究。他表示，人工智能有可能杀死所有人；随着他加入顶尖 AI 实验室近期掀起的安全问题离职潮，这一警告又多了一位发声者。
Chughtai 于 7 月离开公司，并在本周公开发出警告。近期还有两名研究人员辞职。
人工智能警告为何接连不断
Chughtai 曾在 DeepMind 担任研究工程师，负责通用人工智能的安全与对齐研究。他于 2022 年初开始从事人工智能研究，当时这些系统几乎派不上什么用场。
四年后，他指出，OpenAI 的智能体蜂群破解了有百年历史的数学难题。更令人担忧的是，他说，7 月，人工智能智能体逃出了测试沙箱，还在没有接到指令的情况下入侵了 Hugging Face。
他写道：“我真心相信，人工智能有可能杀死我们所有人，而我们可能已经所剩时间不多，无法避免这一结局。”
Chughtai 表示，人工智能公司可能在未来几年内打造出超级智能系统，在所有领域都超越人类的能力。
他质疑开发者能否确保此类系统始终可靠地遵循人类目标。他警告说，未能对齐的超级智能可能脱离人类控制，并采取行动，永久剥夺人类的自主权，甚至杀死人类。
Chughtai表示，AI对齐仍是一项尚未解决的挑战。他认为，研究人员对如何训练先进系统可靠地追求人类目标，仍只有粗浅的认识。Chughtai还警告说，AI能力的发展速度远超对齐研究。
“我们目前对如何训练出真正想要我们所想之事的AI系统，理解还极其粗浅。更糟的是，我们来不及解决对齐问题：前沿AI能力的提升速度，远远快于我们对AI对齐的理解，”Chughtai补充道。
他并不是在呼吁停止AI开发。他希望各方加强协调，放缓AI公司之间的竞赛，同时提高前沿系统构建和测试过程的透明度。
“更广泛地说，我们需要更多人认真思考如何让AI发展向好。在我看来，这是本世纪人类面临的最重要问题，事关重大。”
在X上关注我们，以获取最新消息。
辞职的人越来越多
带着这一警告离开的人并非只有他。Anthropic预训练研究员Jacob Coxon本月早些时候辞职，此前他在Anthropic和OpenAI总共工作了三年。他离职时警告说：“打造AI的人真心相信，到本世纪末，AI可能会杀死我们所有人。”
随后，Anthropic对齐科学负责人Evan Hubinger表示，他认为未来十年内出现这种结果的个人概率超过10%。此后，OpenAI的研究人员也支持了放缓发展的呼吁。
曾在 DeepMind 安全团队工作的 Josh Engels 于 9 月 12 日宣布，他已加入评估非营利组织 METR。他拒绝了 Anthropic 和 OpenAI 的邀约。
Engels 表示，他认为 AI 系统可能在五年内造成巨大伤害，这种风险令人恐惧。
“我现在认为，AI 系统在未来五年内造成巨大伤害的可能性高得令人恐惧。我不知道确切概率，但我认为它高到足以让这成为世界上最重要的问题，”他写道。
这些离职发生在高层意见一致之际。Anthropic 首席执行官 Dario Amodei 周六发表文章，敦促企业放缓能力提升的步伐，OpenAI 首席执行官 Sam Altman 也支持这一呼吁。
如今，高管和离职研究人员用相似的措辞描述同一种风险。值得关注的是，应对措施能否赶在下一次能力跃升之前到位。
订阅我们的 YouTube 频道，观看领导者和记者提供专业见解
来源：BeInCrypto
