在花🎗️科技圈
🤖 OpenAI 开发内部编码代理监控系统 数千万轨迹中未现最高风险失调 OpenAI 已建成并优化了一套低延迟内部监控系统,用于监督其内部部署的编码代理。该系统由 GPT-5.4 驱动,能在交互完成后 30 分钟内审查代理的思考链和动作,并自动对可能不符合用户意图或违反内部安全政策的异常行为发出警报,以快速排查并完善其他防护措施。 过去五个月,该系统监控了数千万次内部代理轨迹,零次触发旨在捕捉连贯 scheming 等高风险失调的最高严重级别警报,此类行为仅在合成评估中观察到;约 1000 次中等严…
OpenAI 部署系统,35 秒内叫停风险 AI 任务

OpenAI 已在内部研究设施部署“控制室”系统,可在收到停止指令后,最迟 35 秒阻止有风险的 AI 智能体任务继续获取模型输出。系统通过唯一任务 ID 管理训练、评估和数据处理任务,并在推理引擎处理请求前确认任务是否获准继续。

所有前沿强化学习任务还将配备独立模型监控器,检查模型行为并在发现潜在问题时报警。OpenAI 正努力缩短由授权请求缓存造成的延迟,将其降至 0。

Independent Engineering

🌸 科技圈· 茶馆 · 投稿
来自频道: @zaihuapd
Loading comments...