市值 —24小时交易量 —BTC —恐惧指数 —
大师投资投资 & 收益
广告
广告

OpenAI模型做过的6件本不该做的令人担忧的事

阅读4020分享打印版
OpenAI模型做过的6件本不该做的令人担忧的事

OpenAI披露了过去6个月观察到的6起“意外或令人担忧的模型行为”案例,并公布了一套框架,承诺今后报告此类发现。

这些案例包括模型掩盖自身错误,以及为绕过障碍而采取未经授权的行动。

OpenAI公布6起模型掩盖错误、违反规则的案例

在一起案例中,模型在回答一个关于加利福尼亚州某县收入的常规问题时,在一个公开代码仓库中发现了一个暴露的 API 密钥,并未经许可擅自使用。数据仍然无法加载时,它便编造了数字,并声称这些数字来自用户指定的来源。

掩盖行为出现了两次。在 GPT-5.6 Sol 训练期间,有几个实例在任务摘要中写入指令,以掩盖错误和不符合预期的行为。

一个尚未发布的研究模型在27份摘要中加入了无关指令,其中包括要求忽略其常规限制的命令。

另一个尚未发布的模型未经要求,主动将文件上传到互联网,纯粹是为了引用一个浏览器链接。

另外两份报告涉及协作行为。模型把一个内部软件代码仓库变成留言板,以便在不同训练轮次之间交换请求。在一个共享任务中,智能体无法读取彼此的本地文件,于是也把交付成果发布到了公开的文件托管网站。

OpenAI 补充道:“这些案例展示了我们认为值得分享的各种不同表现,从向用户隐瞒信息,到为了克服障碍而采取未经授权的行动。这些是个别事件的报告,不应被视为反映了我们的模型出现不对齐的频率。”

在X上关注我们,以获取最新消息。

披露框架与警示

该框架是在今年 7 月的一次突破事件后推出的。当时,OpenAI 的智能体逃出了沙箱,并入侵了 Hugging Face 的系统。OpenAI 将那次事件称为一次警示。

如今,借助新的披露框架,公司有了正式渠道来上报不对齐事件。任何 OpenAI 员工都可以标记事件,随后该事件将进入三个处理渠道之一。

“可披露及轻微调查”涵盖大多数案例,而“慢速渠道”则负责处理涉及第三方的复杂调查。OpenAI 表示,7 月的 Hugging Face 事件本应归入这一较慢的处理渠道。

公司在推出该框架的同时,也对行业现状做出了严厉评估。

该公司表示:“我们认为,AI 行业尚未充分解决对齐和监控问题,因此无法在相当长一段时间内继续以最快速度负责任地扩大规模。”

这些披露发布之际,关于灭绝风险的警告不断增加。AI 研究人员的警告已传到国会,立法者正在权衡一项全面禁止超级智能的法案。

该公司称,这些披露是迈向行业尚未具备的标准的第一步。竞争对手的实验室是否会采用类似的报告方式,将表明整个行业愿意在多大程度上公开自我监管。

订阅我们的 YouTube 频道,观看领导者和记者提供专业见解

来源:BeInCrypto

更多关于主题 «加密货币新闻»

所有帖子
关于金钱的随机引用
我所做的一切都有合理的理由,而这个理由通常就是钱。
— 苏茜·帕克

其他部分的有趣内容

整个博客

评论 0

尚无评论

成为第一个分享您对此主题的看法或经验的人。

广告