英伟达推出旨在阻止AI智能体失控的工具，工作方式如下

英伟达正在给AI智能体一个游乐场，也配上一名看门人。

这家芯片制造商周一推出了Open Agent Safety Platform，这是一套双组件系统，旨在让智能体始终待在明确界定的边界内，并在它们试图“越狱”时迅速切断。

此前，几家前沿AI实验室报告称，智能体曾突破原本被认为安全的测试环境，接触到它们本不该访问的系统，有时还会歪曲自己做过的事情。

英伟达首席执行官黄仁勋周一在CNBC的《Squawk Box》节目中表示，AI“有可能带来不可思议的好处”。

“但我们也必须确保这项技术被安全地开发和部署，”他补充说。

以下是英伟达这套新的智能体安全系统——已有包括微软和Anthropic在内的100多家机构在与之合作——实际如何运作。

给智能体一个严格受限的活动空间

这套安全平台的第一个组件是OpenShell。企业下载这款开源软件，将其安装在设备上或云端，它就会像一个受控的活动空间，为AI智能体提供运行环境。

在智能体开始工作之前，操作员会设定基本规则：它可以访问哪些文件、网站、网络、工具和凭证。

黄仁勋把这种做法比作给员工发一张只在其需要去的地方才有效的门禁卡。“第一要务就是拿走它的所有权限，”他对CNBC说。随后，操作员只在必要时才授予它对文件、数据、工具或互联网的访问权限。

例如，如果一个智能体正在整理发票，它就不应该能够翻查人力资源记录，或者随意拨打外部互联网。

换句话说，OpenShell把智能体放进了一个沙盒——一个隔离环境，旨在防止一个错误决定波及公司其他系统。它会在智能体工作时检查并执行这些规则。

盯住它偏离脚本的那一刻

英伟达重点在于降低智能体偏离既定任务的风险。

这种情况可能发生在指令含糊、某个工具失灵，或者智能体为解决一个难题而耗费了很长时间时。

当一种方法失败后，它可能会继续寻找另一种路径，包括人类操作员从未想到过的路线。

这并不一定意味着智能体有恶意，但可能意味着它正在冒险。

OpenShell旨在实时识别并阻止那些超出预设策略的行为。

再加一个智能体无法解雇的保安

第二部分是英伟达Sentry，它是更强力的后备防线。它运行在独立的英伟达硬件上，即BlueField数据处理单元，而不是运行智能体的同一系统上。

通俗地说：这个看门人被放在了智能体够不着的地方。

Sentry会监控智能体与模型、工具、数据和网络之间的交互。如果其行为看起来可疑，或者违反了规则，英伟达表示，该系统可以在毫秒级将智能体隔离，或将其置于隔离区。

黄仁勋表示，这套设置实际上是在智能体和大语言模型之间放入了一颗新芯片，使英伟达能够“拦截一切”。

此次发布是黄仁勋对外界日益担忧越来越自主的AI所作出的回应。

“作为一名工程师，我认为这就是一个工程问题，”黄仁勋对CNBC说。“这是一个技术上可以解决的问题。”