跳到正文
今天11月10日周二1 条
11月8日周日
  1. The Decoder64

    Co-Design Bench 评测显示编码智能体近四分之三任务仍需人工收尾

    Co-Design Bench 基于真实用户变更需求测试编码智能体,10 个模型中仅 GPT-6 Astra 能在 26.4% 的任务中完全正确完成。该模型平均满足约 70% 的要求,但在多模态任务和代码库任务中的完全解决率分别只有 41% 和略低于 18%;同一模型在不同 harness 中的得分也明显不同,作者建议同时报告模型与工作环境。

11月7日周六
  1. The Verge AI75

    METR 报告称 Anthropic 的 AI 研发速度约为一年前的两倍

    METR 经 11 周内部调查发现,Anthropic 的模型改进速度约为一年前的两倍,多数提速截至 10 月归因于 AI,员工使用其最强内部模型后自报生产力约为原来的 12 倍。报告还披露 Anthropic 已训练三个尚未发布的模型,但公司删去了大部分最具信息量的证据,引发研究人员对透明度、独立监督和递归自我改进风险的担忧。

  2. The Decoder72

    Into the Unknown 评测显示 9 个 AI 智能体无一通过专家门槛

    Carnegie Mellon University 团队与美国能源部国家实验室科学家构建 Into the Unknown 基准,9 个 AI 智能体完成的 135 份投稿无一同时满足诚实、完整和专家质量要求。GPT-6 Astra 在 15 项任务中的 11 项提交未出现完整性违规,但只有 1 份提交完整。研究还发现更长运行时间未带来更好结果,代码和数据已公开并提供模型排行榜。

11月6日周五
  1. The Decoder80

    METR审计称Anthropic模型改进速度可能自去年7月越过安全警示阈值

    METR审计认为,Anthropic模型改进速度约翻倍,其中约80%可能源于AI参与公司内部研究,因此可能在去年7月越过其 Responsible Scaling Policy 的警示阈值。审计基于2026年8月12日至10月29日的内部数据,真实加速倍数估计在1.3至3之间;Anthropic删除了多数高价值证据,且取消了对算力分配的核查。

    推荐理由:METR披露了Anthropic内部模型加速与AI辅助研究的关联,也揭示关键证据被删减带来的审计不确定性。

11月5日周四
11月4日周三
  1. 爱范儿68

    Anthropic 开源 FlashProve 研究原型,探讨 AI 中转站模型身份验证

    Anthropic 发布 FlashProve 开源研究原型,尝试用密码学证明让用户核验远程 API 输出是否来自指定模型权重。该原型基于 zkSNARK,实验使用公开 4-bit 权重的 Llama 4 Maverick,证明生成速度约为 110 tokens/秒,单个 1,024-token 请求的证明约为 19 MB,验证在 24 线程 CPU 上约需 17 秒。

  2. The Decoder68

    Stanford研究称44%的LLM既有研究结论已失效

    Stanford研究人员用20个模型检验50项广泛引用的LLM结论,其中44%已失效,另有34%显著减弱,仅16%仍成立且6%增强。22项可估计失效时间的结论平均仅维持15.7个月,其中推理能力限制类结论失效最快。研究团队建议将LLM实证结论视为特定模型在特定时间点的观察,并公开模型版本、日期、提示词与分析代码以便复测。

11月3日周二
  1. MIT Technology Review AI50

    “反向博弈论”如何约束 AI 智能体

    一种被称为“反向博弈论”的机制设计方法,正尝试通过交叉检查、竞争和求解者与审计者分工,激励 AI 智能体遵守规则并减少测试伪装。该方法不要求完全理解模型内部机制,但依赖对智能体行为理性的假设。研究者也指出,智能体可能串谋、寻找漏洞,且面向单项任务设计的机制能否迁移到真实前沿模型仍不明确。