跳到正文
The Decoder· Maximilian Schreiner·· 19 小时前AI 评分53

腾讯 AI 负责人称 AI 生物武器风险将至,单靠开放或闭源模型无法解决

Tencent's AI chief says AI bioweapons are coming, but closing off models isn't the answer

AI 导读

腾讯 AI 负责人姚舜宇认为,AI 很快可能具备开发生物武器的能力,仅靠完全开放或完全封闭的模型都无法解决这一风险。他主张在开源与闭源之间采取混合路线,并以 Hugging Face 事件说明开放模型在防御中的用途及其安全限制。Anthropic 等公司则强调开放模型的安全机制容易被移除,中国 TC260 正制定相关标准。

正文 · AI 翻译

Maximilian Schreiner

2026年11月9日

Image description

由 THE DECODER 提示词生成的 GPT-Image-2

腾讯首席 AI 科学家警告称,AI 很快将具备开发生物武器的能力,而完全开放或完全封闭的模型都无法单独解决这一问题。

据《南华早报》报道,在开放与封闭 AI 模型之争中,曾任职于 OpenAI 的姚舜宇(Vinces Yao Shunyu)主张采取折中路线。开源与闭源技术的结合可以让各方都能将其用于防御领域。不过在生物安全方面,攻击能力与防御能力比网络安全领域更难区分。鉴于中美模型之间的差距并不大,姚舜宇呼吁整个行业谨慎推进。

姚舜宇表示,Anthropic 等美国公司已经为封闭模型提出了充分理由,但他也看到了开放模型的明显优势。他以Hugging Face 的一起黑客事件为例:当 Claude 等美国闭源模型因安全过滤机制而拒绝分析攻击命令时,该平台转而使用中国开放模型 GLM-5.2解析日志。

Hugging Face 案例说明了什么,又没有说明什么

Hugging Face 的报告印证了姚舜宇举例说明的情况,同时也揭示了其局限。GLM-5.2 仅在取证分析过程中被使用。真正阻止此次攻击的,是安全团队修补了被利用的漏洞、重建了受影响的服务器,并轮换了凭证。Hugging Face 还强调,这起事件并不能成为反对托管模型设置安全过滤机制的理由。

7月,Anthropic 是唯一一家没有在一封警告不要过早限制开放模型、且获得 Nvidia 支持的联名信上签字的主要 AI 实验室。CEO Dario Amodei明确反对这样一种说法:开放模型对防御者的好处大于对攻击者的好处。他认为,开放模型可能风险更高,因为安全机制很难落实,而且已经公开发布的模型权重无法收回。不过,Anthropic 并未呼吁全面禁止开放模型。

开放模型容易失去过滤机制,封闭模型又常常过滤过度

一种名为 Abliteration的技术表明,开放模型的安全过滤机制十分脆弱。任何能获取模型权重的人,都可以利用它精准移除模型训练形成的拒答行为。Hugging Face 上已有数千个经过此类修改的变体,美国初创公司 Abliteration.ai 还销售未经滤的 GLM-5.3 版本。目前的研究显示,现有应对措施只能提高此类修改的难度,无法将其彻底阻止。更稳妥的做法,是从一开始就在训练过程中避免让模型掌握危险知识。

中国也认识到了这一问题。标准机构 TC260 警告称,开放模型的安全机制可能被移除或绕过,目前正在制定自己的开源 AI 安全标准。一份出口管制框架草案涵盖参数规模特别大的模型,但已经发布的开放模型可获豁免。中美两国都尚未设定具有约束力的门槛,明确规定达到何种规模后开放模型不得发布。

Anthropic 和 OpenAI 仅通过 Project Glasswing 和 Daybreak 等项目,向经过审查的合作伙伴提供旗下能力最强的网络安全模型。自 Claude Fable 5 推出以来,Claude 的过滤器会将涉及网络安全和生物学的可疑查询转交给能力较弱的 Opus 4.8 模型处理。据 Artificial Analysis 称,这一机制起初影响了 8% 至 9% 的任务;用户还反映,就连分析 MRI 扫描结果也会被标记为生物恐怖主义。Anthropic 已承认过滤器过于激进。

腾讯计划在未来数日发布新模型 Hy4,并同步公开安全报告。该公司表示,Hy4 的生物能力低于高风险门槛。腾讯通过过滤训练数据移除了该模型的入侵能力;研究人员称,这种做法在模型“去对齐”后依然有效。

拒绝炒作的 AI 新闻——由人工精选

订阅 THE DECODER,即可无广告阅读、接收每周 AI 新闻简报、每年六次获取独家“AI Radar”前沿报告、访问完整档案库和评论区。

立即订阅

  • 畅读 THE DECODER 的每篇文章
  • 无广告
  • 参与评论和社区讨论
  • 每周通过邮件获取 AI 新闻回顾
  • 每年六期:“AI Radar”——深入解读最重要的 AI 话题
  • 每日 AI 新闻,持续更新
  • 完整十年内容档案
  • 由拥有 10 年以上 AI 领域经验的团队报道

来源:The Decoder · the-decoder.com