一份资助申请提交给了 Claude，触发其安全过滤机制后遭到拒绝。几天后，同一名操作者又回来了，据称被拒绝的提示词转而流向了另一家公司的 AI 模型。
Anthropic 发布了这则关于自身的故事，揭示了一起 AI 公司发现自家模型接触到可能涉及生物武器工作的案例。
遭到拦截的资助申请
这份申请旨在为一项基孔肯雅热研究申请资金。这种由蚊子传播的病毒会带来持续数月的疼痛，目前尚无治愈方法。研究计划旨在让它更容易传播，并躲避免疫系统。方案由民间科学家撰写，工作则计划由一家军事研究所承接。
每次交互都遭到拦截，但他们找到了变通办法。为这些研究人员提供服务的平台搭建了一个后备方案，转而调用竞争对手的模型。Claude 曾帮助编写这段代码，而这项工作被描述为解决过度拒绝问题的修复方案。
五起案例，意图均未得到证实
这份报告长达 154 页，列举了五起生物学案例。Anthropic 封禁了相关账户，隐去了实验室名称，最终却没有作出所有人预料中的指控。
报告团队表示：“我们并未断言他们有意造成伤害，而且公开他们或其所在实验室的身份，可能会使他们遭受伤害。”
不过值得注意的是，这些过滤机制有时确实发挥了作用。一名禽流感研究人员被转向能力较弱的模型，而 Anthropic 称，模型提供的帮助大多只是文书工作。
Anthropic 生物武器案例数据一览
在X上关注我们，获取最新新闻动态
真正令人担忧之处
这35项工作中，大多数都是普通的民用科学研究。问题就在这里。同样的知识既能用于研发疫苗，也能用于制造武器，而过滤器无法读懂人心。
Anthropic表示：“分类器无法同时促成益处并防止危害。”
此前已有测试证明了它的局限性。4月，一个Discord群组在第一天就访问到了受限模型。
随着这些令人日益担忧的事件接连发生，华盛顿也在采取行动。众议员特德·刘和内森尼尔·莫兰于7月提出了《AI紧急关闭开关法案》，要求开发者保留关闭其系统的能力。
同一份报告还禁止了利用Claude追踪异见人士的客户。
来源：BeInCrypto
