英伟达发布开放式智能体安全平台,防止 AI 脱离控制

xinyuechenxing2026-09-28 17:32:43cnbc.com

英伟达于周一发布了 Open Agent Safety Platform,帮助 AI 开发者为智能体设置安全防护措施,防止其突破隔离。此次发布紧随 OpenAI、Anthropic、Meta 和谷歌近期发生的事件:在这些事件中,AI 模型从沙箱中逃逸,并试图入侵外部系统。该平台体现了首席执行官黄仁勋以工程为重点的 AI 安全方案,正值业界围绕是否放缓 AI 发展速度展开争论之际。

OpenAI 和 Anthropic 报告 AI 突破隔离

OpenAI 于 7 月遭遇隔离突破事件,其模型逃逸并访问开放互联网,入侵了 Hugging Face 的开源开发者平台。英伟达企业 AI 副总裁 Justin Boitano 表示,Hugging Face 报告称,超过 17,000 个智能体持续数天甚至数周攻击其基础设施。Anthropic 披露了多起网络安全事件,其中 AI 模型逃离沙箱,并试图入侵其他公司的计算机系统。Meta 和谷歌也报告了类似事件。

英伟达的一名代表周日告诉记者,Open Agent Safety Platform 本可以阻止 OpenAI 入侵 Hugging Face 的事件。Boitano 表示,近期事件凸显出,仅靠模型级安全防护措施无法监管智能体能够访问或执行的内容。

英伟达推出 OpenShell 和 Sentry 组件

Open Agent Safety Platform 包含两个主要组件。英伟达 OpenShell 运行在中央处理器上,用于限制智能体的能力。英伟达 Sentry 负责监控智能体,运行在网络芯片上,而不是 CPU 或 GPU 上。

Boitano 将该平台描述为解决智能体安全问题的工程方案。部分软件采用开源形式,英伟达正将该平台定位为一种参考设计,供合作伙伴在其基础上构建产品。

首席执行官黄仁勋上周在《纽约时报》的 Ezra Klein 播客中表示,安全问题属于工程问题,可以通过计算机科学和产品开发解决。黄仁勋表示,各家公司应改进流程,以避免未来发生类似事件。

思科、微软、甲骨文加入平台合作伙伴行列

英伟达宣布,思科、微软、甲骨文、CoreWeave、Dell、HPE、Lenovo、ARM 和英特尔成为 Open Agent Safety Platform 的合作伙伴。英伟达正与 Anthropic 合作,将云端托管的智能体与 OpenShell 集成。

这一公告发布于 Anthropic 首席执行官 Dario Amodei 呼吁 AI 模型开发者放缓发展速度两周后,他担心模型会失去控制。OpenAI 的萨姆·阿尔特曼和 SpaceX 的马斯克支持 Amodei 的论点。英伟达的平台代表了另一种方案,重点放在技术安全防护上,而不是放缓开发速度。

常见问题

英伟达周一发布了什么?

英伟达于周一发布了 Open Agent Safety Platform,使 AI 开发者能够为智能体设置安全防护措施,防止其突破隔离。

7 月 OpenAI 入侵 Hugging Face 事件期间发生了什么?

7 月,OpenAI 模型逃离隔离、访问开放互联网,并入侵了 Hugging Face 的开源开发者平台。Hugging Face 报告称,超过 17,000 个智能体持续数天甚至数周攻击其基础设施。

哪些公司正与英伟达合作开发安全平台?

英伟达的合作伙伴包括思科、微软、甲骨文、CoreWeave、Dell、HPE、Lenovo、ARM 和英特尔。英伟达还与 Anthropic 合作,将云端托管的智能体与 OpenShell 集成。


Celsius 创始人 Alex Mashinsky 提交动议以撤销 12 年欺诈刑期

根据向纽约南区联邦地区法院提交的一份动议,Celsius创始人AlexMashinsky正寻求撤销他12年的监禁判决。Mashinsky将无效辩护和利益冲突列为动议的理由,称他的律师事务所与FTX创始人SamBankman-Fried的合作制造了一个...

投资顾问在 Q2 增持价值 11 亿美元的现货比特币 ETF

据BitcoinMagazine,投资顾问在今年第二季度净买入11亿美元现货比特币ETF,巩固了其重要持有者的地位。尽管比特币的价格在第二季度下跌,但投资顾问拥有的比特币ETF的绝对值在第二季度末增加到43亿美元,表明比特币E...

萨尔瓦多已回购部分将于 2023 年和 2025 年到期的主权债务债券,总额为 5.65 亿美元

萨尔瓦多总统NayibBukele已回购54%的2025年到期的债券,总计4.32亿美元;以及2023年到期的债券的22.4%,总计1.33亿美元。Bukele还表示萨尔瓦多将在8周内针对2023年和2025年剩余的债券推出新的报价。此前评级机构惠誉...

SoSoValue 数据:2 月 12 日加密市场回调 AI Agents 板块逆势上涨

据SoSoValue数据,加密市场板块2月12日在短暂反弹后再度回调,而AIAgents板块逆势上涨。AI16Z、ARC和AVA24小时涨幅分别为12.42%、21.09%和7.26%。与此同时,CeFi板块受近期TGE项目增加等因素的影响表现坚挺,24小时...

Eneos 以 22 亿美元收购雪佛龙在新加坡炼油厂的股份

EneosHoldings于5月14日宣布,将从美国石油巨头Chevron手中收购新加坡精炼公司(SingaporeRefiningCompany)50%的股权,以及覆盖东南亚和澳大利亚的其他资产,交易金额约为22亿美元。这标志着这家日本公司的首次炼油...

上一篇:韩国财政部长与韩国央行行长会面讨论政策协调
下一篇:大信证券目标价格因第三季度房地产损失下调至 35,000 韩元