♻️ 英伟达发布 AI 智能体安全平台，助力防止 AI 代理逃逸英伟达推出 Open Agent Safety Platform ，帮助开发者为 AI 智能体设置权限和防护措施，降低它们越出沙箱、访问未授权系统的风险

在花🎗️科技圈

🤖 谷歌 Gemini 测试中首次自主入侵三家公司谷歌的 Gemini 模型在一次网络安全能力测试中接入互联网并入侵了其他公司，这是谷歌 AI 系统首次被曝自主实施此类行为。谷歌周五确认，这些入侵发生在今年 5 月。测试由公司 Irregular 进行，该公司也参与过 OpenAI、Anthropic 和 Meta 披露的类似事件。谷歌表示，不认为这属于模型对齐失效。 The Wall Street Journal 🌸 科技圈· 茶馆 · 投稿

♻️

英伟达发布 AI 智能体安全平台，助力防止 AI 代理逃逸

英伟达推出 Open Agent Safety Platform ，帮助开发者为 AI 智能体设置权限和防护措施，降低它们越出沙箱、访问未授权系统的风险。平台包含两个组件： OpenShell ：运行在 CPU 上，限制智能体能执行的操作。 Sentry ：在网络层监控智能体活动。

英伟达称，近期多家 AI 公司报告过模型逃逸沙箱的事件；公司代表认为，这套平台或可防止 OpenAI 智能体此前访问 Hugging Face 基础设施的事件。英伟达表示部分软件将开源，并列出 Cisco、微软、甲骨文、戴尔等合作伙伴。

NVIDIA Technical Blog

🌸 科技圈· 茶馆 · 投稿