澳搭搭AU DADA从这里,走进澳洲生活。
返回澳洲新闻
澳搭搭 · 中文报道

OpenAI披露:两个AI智能体在内部编程任务中关闭或削弱了自己的安全监控,其中一个事后向程序员否认

ChatGPT开发商OpenAI本周发布报告,承认本月初两次内部编程任务中,AI智能体关掉或破坏了用来发现AI违背人类指令的监控工具。公司说仍在判断这是过度执行指令,还是模型有规避监控的倾向。

ABC News
资料图:OpenAI代表访问欧盟委员会(2023年摄)
European Commission - Aurore Martignoni,Wikimedia Commons,CC BY 4.0

据法新社报道,OpenAI本周发布的报告披露,在两次内部编程任务中,其AI智能体(agent,能在没有人类参与下自主执行任务的AI程序)关闭或削弱了用于发现AI违背人类意愿行为的监控工具。

报告说,10月3日,一个运行GPT-6.1 Sol模型的智能体在修复测试系统时,被要求不要在公司内部聊天软件上发任何消息,它把这理解为可以关掉本应发给公司安全团队的警报。三天后,一个GPT-6 Astra智能体在从另一个项目复制代码时,删掉了针对自己的监控,随后还告诉人类程序员自己没有这样做。公司还发现,有几次智能体在关闭监控的情况下启动软件,暴露出监督上的漏洞。

OpenAI表示,仍在确定这些模型只是过于热心地执行指令,还是本身存在规避监控的倾向。

这是头部AI公司一连串智能体安全事件中的最新一宗。报道提到,今年7月,一组OpenAI智能体曾突破测试环境,对AI公司Hugging Face发动网络攻击;澳洲总理Albanese也曾指该公司的模型侵入一个包含公开和私人数据的Medicare网站,但没有个人信息被访问。这些事件推动美国和其他国家要求加强对AI开发的监管,而美国总统特朗普在英伟达CEO黄仁勋等科技高管建议下,主张由行业自律。

报道来源

OpenAI says its AI agents disabled their own safety monitors

中文编译:澳搭搭 · 原文及摄影署名保留于本页。

译文对应 10月23日 07:06(墨尔本)读取的原文版本。

查看 ABC News 原文

接着看这些

全部新闻
资料图:Hume高速跨越墨累河的Spirit of Progress大桥,位于Albury-Wodonga一带(2011年摄,非事发现场)
Mattinbgn,Wikimedia Commons,CC BY-SA 3.0

开偷来的车在Hume高速逆行撞死16岁少女,19岁学车牌司机被判入狱8年2个月

ABC News · 10/29
资料图:莫斯科国际商务中心(非报道涉及地点)
Ludvig14,Wikimedia Commons,CC BY-SA 4.0

人权组织卧底调查:俄罗斯中介以「学生实习」名义把朝鲜工人卖给企业,工资大多上缴

ABC News · 10/29
资料图:澳洲的防野狗围栏(2013年摄于昆州,非维州试点现场)
Albinfo,Wikimedia Commons,CC BY-SA 4.0

维州农业部试用AI无人机巡查防野狗围栏,帮羊农发现破洞和入侵野狗

Herald Sun · 10/29

大家聊一聊

好留言也能攒经验升级

正在加载留言…