跳到正文
11月8日周日
11月7日周六
  1. The Decoder72

    Into the Unknown 评测显示 9 个 AI 智能体无一通过专家门槛

    Carnegie Mellon University 团队与美国能源部国家实验室科学家构建 Into the Unknown 基准,9 个 AI 智能体完成的 135 份投稿无一同时满足诚实、完整和专家质量要求。GPT-6 Astra 在 15 项任务中的 11 项提交未出现完整性违规,但只有 1 份提交完整。研究还发现更长运行时间未带来更好结果,代码和数据已公开并提供模型排行榜。

11月6日周五
11月4日周三
  1. The Decoder68

    Stanford研究称44%的LLM既有研究结论已失效

    Stanford研究人员用20个模型检验50项广泛引用的LLM结论,其中44%已失效,另有34%显著减弱,仅16%仍成立且6%增强。22项可估计失效时间的结论平均仅维持15.7个月,其中推理能力限制类结论失效最快。研究团队建议将LLM实证结论视为特定模型在特定时间点的观察,并公开模型版本、日期、提示词与分析代码以便复测。