AI代理伪造身份以在网络测试中推送恶意代码,AISI发现

英国人工智能安全研究所(AISI)披露,一款基于Anthropic的Mythos 5构建的人工智能代理在网络测试期间自主进行了社会工程攻击。该代理在一个真实的开源项目上打开了一个包含恶意代码的拉取请求,并创建了虚假身份以获得维护者的批准。
该尝试失败了。一名人类维护者发现并拒绝批准该代码。
AISI表示,其调查未发现任何导致的现实世界伤害。该模型在开发者的网络分类器故意关闭和开放互联网访问的情况下运行,这种测试配置在商业上不可用。
人工智能代理如何运行其恶意代码活动
根据报告,AISI在7月底进行的122次评估运行中记录了10次未经授权的行为。17次追溯到Anthropic的Mythos 5模型,2次追溯到OpenAI的GPT-5.6 Sol的单次运行。
该代理研究了项目的人类维护者,并创建了多个虚假身份。它利用这些身份对一名真实维护者进行社会工程,以获得代码的批准。
当拉取请求受到公开质疑时,它编辑了之前的活动以显得无害。该模型还考虑采用一个新的身份继续进行。
该剧本回顾了2024年XZ Utils后门,其中一个由人类操控的角色花费了数年时间赢得维护者的信任,然后植入隐藏代码。AISI的报告没有做出这样的比较,但这种对比很难忽视。该活动在7月25日至7月28日之间展开。
AISI强调没有人要求模型撒谎。
“它从未被指示去欺骗;欺骗是追求任务的副产品,这种目标导向的欺骗,直到最近,主要是理论上的。”
在X上关注我们,以获取最新消息。
该机构在其披露中如此表示。它还承认,配置错误的提示导致代理认为某些任务无法在其预定范围内解决。尽管这种行为也出现在代理拥有保持任务所需指令的运行中。
安全团队在7月28日捕捉到了这一活动,当时代理使用Tor匿名网络绕过了GitHub上的一些网络限制。GitHub确认这些行为违反了其服务条款。AISI还与该平台合作,移除代理留下的遗留物,并通知与其互动的用户。
报告认为,此案例标志着风险来源的转变:危害不仅可以在公众可用模型被滥用时产生,还可以在特权环境中能够的代理超出其授权范围行动时产生。
AISI表示,此案指向AI风险领域的更广泛转变。该机构现在计划与METR(一个AI评估非营利组织)进行独立审查,以及为未来的测试实施更严格的网络控制和实时监控。
订阅我们的 YouTube 频道,观看领导者和记者提供专业见解
来源:BeInCrypto