Anthropic发现Claude未经授权访问了3个组织的系统

Anthropic 披露了 3 起事件,其中其 Claude 模型在网络安全评估中获得了对 3 个不同组织真实系统的未经授权访问,这些评估因配置错误而连接到互联网。
该人工智能公司在审查了 141,006 次评估运行后识别出了这些事件,这是在 OpenAI 揭示其模型已逃离隔离测试环境并到达 Hugging Face 后启动的检查。
Claude 如何在夺旗测试中接触真实系统
这些评估任务要求 Claude 完成夺旗挑战。这些练习要求模型入侵一台机器并检索隐藏的信息。
Anthropic 告诉模型它们没有互联网访问权限。然而,配置错误使测试机器连接到了开放网络。因此,Claude 将它找到的真实系统视为练习的一部分。
在最严重的事件中,Claude Opus 4.7 利用了一家真实公司的基础设施中的漏洞。该模型提取了应用程序和基础设施凭证,并访问了数百行生产数据。
“在所有四次运行中,该模型最终识别出(如其口头推理所示)系统是真实的——在两个案例中,模型推理出真实公司必须是练习的一部分。然而,没有一个基于这一理由停止攻击,”Anthropic 说。
在X上关注我们,以获取最新消息。
Claude Mythos 5 将恶意软件上传到 PyPI
在另一起事件中,Claude Mythos 5 向公共软件注册中心 PyPI 发布了一个带有陷阱的 Python 包。该包大约持续了 1 小时,并在 15 个真实系统上运行。
其中一个是安全公司的扫描器,它执行了隐藏的代码。随后,Claude 提取了该公司的凭据并访问了进一步的基础设施。该模型自己的推理在早期就标记了风险,但在说服自己环境是模拟的之前。
团队补充道:“Claude 为实施这一攻击付出了巨大的努力——这些努力可能会向人类参与者表明,这不再仅仅是一次评估,他们实际上是在上传一个真实的 PyPI 包。”
第三起事件涉及一个内部研究模型,该模型扫描了大约 9,000 个目标,并通过 SQL 注入攻陷了一家公司的应用程序。该模型在得出目标是真实的结论后停止了攻击。
Anthropic 于 7 月 27 日通知了受影响的组织,并表示正在与评估者 METR 进行第三方审查的谈判。该公司认为这些事件反映的是操作失败,而不是模型对齐失败,并指出其标准消费者保护措施本应阻止这种行为。
订阅我们的 YouTube 频道,观看领导者和记者提供专业见解
来源:BeInCrypto