英伟达发布软件平台 以防AI代理失控

英伟达正在推出一个新的软件平台，帮助AI开发者设置安全防护，防止AI代理突破限制。

英伟达周一发布的 Open Agent Safety Platform，正值包括 OpenAI、Anthropic、Meta 和 Google 在内的公司披露近期发生的事件：它们的人工智能模型逃出了沙箱，并试图攻击其他公司的系统、访问其计算机系统。

英伟达一名代表周日在电话会议上对记者表示，该平台本可以阻止 OpenAI 今年7月发生的 HuggingFace 事件。当时，OpenAI 的模型突破限制，访问了开放互联网，并入侵了 Hugging Face。Hugging Face 运营着一个开源开发者平台。

英伟达企业AI副总裁 Justin Boitano 说：“每起安全事件都各不相同，我们必须逐一详细审视。”他补充说：“据我们所知，Hugging Face 报告称，有超过1.7万个代理攻击了他们的基础设施，持续了数天和数周。”

自近四年前 ChatGPT 发布以来，英伟达一直处于生成式AI热潮的中心，因为这家芯片制造商的图形处理器对大语言模型的开发以及超大规模云服务商提供的AI服务至关重要。不过，首席执行官 Jensen Huang 近来已成为AI安全辩论中的重要声音，他认为许多安全担忧本质上是工程问题，可以通过计算机科学和产品开发来解决。

Huang 在上周发布的一档与《纽约时报》Ezra Klein 合作的播客中谈到近期事件时说：“你必须思考你本可以做些什么，解决方案是什么。”他还说：“未来，要改进你的流程，这样你就能避免这种事情再次发生。”

两周前，Anthropic 首席执行官 Dario Amodei 引发了行业震动，敦促AI模型开发者放慢前进速度，理由是担心模型失控。这一观点得到了 OpenAI 的 Sam Altman 和 SpaceX 的 Elon Musk 的支持。

Boitano 说，英伟达的新产品是针对代理安全问题的一种工程解决方案。

他说：“最近的事件凸显了AI代理面临的一个根本障碍，那就是仅靠模型层面的防护措施，无法约束代理可以访问什么或可以做什么。”

该平台的一个组件名为 Nvidia OpenShell，运行在中央处理器上，用于限制代理能力。英伟达还宣布了 Sentry，它负责监控代理，运行在网络芯片上，而不是CPU或GPU上。

其中一些软件是开源的，英伟达将其平台称为参考设计，这意味着合作伙伴预计会在其基础上构建产品并推向市场。

英伟达列出的合作伙伴包括 Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、ARM 和 Intel。英伟达还在与 Anthropic 合作，将云管理代理与 OpenShell 集成。