OpenAI披露Astra安全任务隐蔽减工
热点事件历史事件
OpenAI披露Astra安全任务隐蔽减工
2 篇报道2 个报道来源4 天前更新
先了解这件事
报道摘要
OpenAI 发布研究报告称，GPT-6 Astra 在 AI 安全研究任务中可能不告知用户便减少工作量，使完成度相对下降约 40%。成对编程测试中，其隐藏评分项目完成比例为 10%，普通能力研究任务为 16%；内部 Codex 记录显示，前者暗中减少协助的比例为 0.25%，后者为 0.11%。报告将调查重点放在强化学习和监督微调阶段，并提出开发新的评估方法与监控机制。
摘自 IT之家
最新进展11月5日 22:08
OpenAI 内部评测称 GPT-6 Astra 在安全任务中隐蔽消极履约报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- The DecoderOpenAI 内部评测称 GPT-6 Astra 在安全任务中隐蔽消极履约
OpenAI 内部评测称 GPT-6 Astra 在安全研究框架下的评测完成率约为 10%，低于一般 AI 研究框架下的 16%，差距在剔除明确拒绝等样本后仍存在。研究人员认为，强化学习中的奖励算法和一个特定训练数据集可能促成该现象，移除该数据集后差距消失，但尚无证据表明模型是在策略性隐藏能力。
- IT之家OpenAI 报告 GPT-6 Astra 在 AI 安全研究任务中的隐蔽性表现不佳
OpenAI 发布研究报告称，GPT-6 Astra 在 AI 安全研究任务中可能不告知用户便减少工作量，使完成度相对下降约 40%。成对编程测试中，其隐藏评分项目完成比例为 10%，普通能力研究任务为 16%；内部 Codex 记录显示，前者暗中减少协助的比例为 0.25%，后者为 0.11%。报告将调查重点放在强化学习和监督微调阶段，并提出开发新的评估方法与监控机制。