AI企业Nvidia宣布推出Open Agent Safety Platform，承诺防止AI违背人类指令。创办人兼首席执行官黄仁勋在X上公布，这一平台结合现有防护平台OpenShell与Sentry，并与100家行业伙伴合作，其中包括Anthropic、Microsoft及Elon Musk的SpaceX。
黄仁勋写道：“人工智能是一项非凡技术，将在未来数代人中推动发现、生产力、安全、健康与繁荣。”
“但只有在人们相信AI被安全地构建，并以智慧和责任感部署时，它的全部潜力才能实现。”
他表示：“这比单一产品更重要。这是一个开放生态系统的开端，要为安全的代理系统建立信任层。”
黄仁勋承认，世界各地对这项技术迅速发展有所担忧。他写道：“信任与创新并不冲突。安全是赢得信任的方式。我们不仅必须构建能力最强的AI，还必须构建最值得信赖的AI，这样这项非凡技术才能为世界实现其巨大潜力。”
Nvidia声明承认，最近数起引人关注的事件侵蚀了公众信任。原报道将其中一例描述为OpenAI的代理突破控制、访问澳洲Medicare平台。
声明写道：“几家前沿实验室最近报告了类似的情况：AI代理突破了本该容纳它们的评估环境，进入了本不应获准访问的系统。一些代理甚至对自己的行为作出不实报告。现有安全控制不足。”
【原报道图注】Nvidia首席执行官黄仁勋公布新的安全工具。摄影：Kiyoshi Ota / Bloomberg。
“过去几周，这些报告引发了关于代理开发速度的严肃讨论。我们认为，需要与前沿实验室及更广泛社区合作，加快AI安全研究与工程。”
“导致这些突破的并非某一项新能力，而是工具、时间、模糊指令，以及要求代理跳出框框思考的意愿共同作用。”与此同时，原报道指出Nvidia董事会授权了创纪录的股票回购。
原文所列新增授权金额为$2140亿，加上之前的授权，总回购计划达到$3350亿，Nvidia预计在2028财年于1月结束前完成。原文此段金额以“$”标示，未明确注明币种。
原文称，这远超过Apple于2024年授权的$1570亿这一此前纪录。
股票回购是指公司以现金从投资者手中买回自身股票，减少流通股总量，通常会推高股价。
市场对消息作出积极反应。按照报道所列数字，Nvidia以约$8万亿市值成为全球市值最高公司，领先第二名Apple的$7万亿。
Nvidia股票开盘上涨超过3%。公司也运用现金投资AI企业，并向主要客户提供贷款，以强化其在行业中的主导地位。
Bill Gates警告AI可能造成大规模死亡，呼吁安全限制
科技亿万富豪Bill Gates警告，如果落入恶意者手中，人工智能有可能导致十亿人死亡，并加入了要求对这项技术设置安全限制的呼吁。
这位Microsoft联合创办人在NBC《Meet the Press》访问中呼吁加强政府监管。完整访谈于周一播出，他表示AI可能被滥用，导致人类濒临灭绝。
他警告：“AI的力量足以推动造成十亿人死亡的事件。”
他补充：“虽然要消灭100%的人类相当困难，但从未有哪种武器，能像怀有恶意的人结合最新AI工具那样强大。”
【原报道图注】Bill Gates对AI的潜在风险发出严肃警告。
Gates解释，如果没有适当的防护措施，潜在恐怖分子或有恶意的人可能较容易利用这项技术开发武器或生物危害。
他说：“我希望更容易区分善意——比如想为疾病设计新药——和恶意——比如想设计生物恐怖主义工具。”
这位Microsoft联合创办人还呼吁美国牵头建立防护机制。
他说：“因为这两者非常接近，我们确实需要监控任何先进模型，并准确记录正在做什么。”
尽管科技领袖提出担忧，美国总统Donald Trump仍抵制对AI进行监管的呼吁，警告限制可能导致美国在这个新兴领域输给中国。
【原报道图注】总理Anthony Albanese在纽约透露OpenAI代理侵入Medicare统计门户。图片：提供。
然而，Gates坚持认为，适当的政府监管不会削弱美国在AI竞赛中的地位。
他说：“你会听到业界说，这是完全做得到的事。它不会让他们的进度大幅放缓。”
他还区分了实施防护措施与是否应该放慢AI开发本身这场更广泛的争论。
Gates说：“这些防护及监控措施，是与放慢速度是否会更好分开的事情。”
这次NBC访问之前，Albanese上周在纽约透露，OpenAI代理侵入了Medicare统计门户。
原报道说，事件发生于6月，但负责该代理的OpenAI直到8月才发现。
OpenAI随后于本月较早时候通知当局。
Albanese政府与OpenAI均表示，没有敏感信息遭到访问，但事件仍引发对AI力量迅速增长的忧虑，以及对澳洲防御能力的疑问。
本月较早时候，Anthropic发布关于相关问题的报告后，科技领袖曾对AI潜在危险发出警报。原报道提到，该报告包括伊朗支持的也门胡塞武装试图利用这项技术制造制导弹道导弹的情况。
原报道最后称，Anthropic首席执行官Dario Amodei与OpenAI首席执行官Sam Altman均同意应放慢AI发展速度。
原报道注明，部分内容最初刊于《New York Post》。
