Baidu 发布 ERNIE Evolve 自动研究系统，刷新 NanoChat 与 NanoGPT 纪录

百度刚刚发布 ERNIE Evolve，这是一套可自动开展研究、优化 AI 训练与推理代码的系统。只要提供代码仓库、目标和评估标准，它就会自主选择研究方向、修改代码并运行实验。只有通过隐藏评估器和另一名独立审查员审核的改动才会被保留。百度团队在三个公开基准上测试了 ERNIE Evolve 自动研究系统，随后用它优化了仍在开发中的 ERNIE-5.5-Flash 的推理性能。

一句话总结

规模：这是一个智能体系统；百度尚未披露其智能体采用了哪些大语言模型。
运行配置：基准测试使用 1 块 NVIDIA B200（NanoChat、SOL-ExecBench）和 8×H100（Speedrun Track 1）。生产测试运行于昆仑芯 P800 和 GPU（具体 GPU 型号未披露）。
表现：在 4 项公开指标中的 3 项超过最佳公开成绩，并通过 ERNIE-5.5-Flash 的生产环境检查。
最佳表现：经过 4 轮研究，昆仑芯 P800 上的生成速度达到基线的 623.6%。
最差表现：SOL-ExecBench 的平均 SOL 为 0.819，落后于排行榜最佳成绩 0.827。
结论（最佳）：在实际生产推理中取得收益：确定性吞吐量提升 33.7%，解码速度提升 14.9%。
结论（最差）：结果由百度自行报告，系统尚未发布，而且公开基准上的领先幅度很小。

ERNIE Evolve 是什么？

ERNIE Evolve 是百度推出的自动研究系统，可围绕固定且可量化的目标优化代码。百度在 X 上宣布该项目时，将其视为迈向递归自我改进（RSI）的务实一步。在 RSI 中，AI 系统会改进用于构建和提供 AI 服务的软件。

ERNIE Evolve 如何运作？

该系统运行两个嵌套循环。外层循环决定研究什么，内层循环则围绕每个方向开发并测试改进方案。

Director：选择下一个研究方向和起始代码版本。它会读取记录过往结果的 Experience Bank，以及收录论文和代码的 Knowledge Base。
Selector：从某个研究分支的代码树中选择候选方案，并确定下一项待验证的假设。
Executor：在隔离环境中实施方案。
Evaluator：这是保留在代码仓库之外的固定程序，任何智能体都无法看到它。性能收益必须超过噪声阈值。
Reviewer：检查改动是否符合预期方向，还是利用了评估漏洞。

多条研究分支并行运行，每条分支都维护自己的代码版本树。失败的实验也会被记录，供后续轮次参考，避免重复尝试。

ERNIE Evolve 在公开基准上的成绩如何？

百度在 NanoChat AutoResearch、NanoGPT Speedrun 和 SOL-ExecBench 上运行了同一套循环。

NanoChat AutoResearch：在单 GPU、5 分钟的预算内达到 0.8763 的验证 BPB。它在网络旁增加了 n-gram 分支和文档检索分支，并通过学习得到的门控进行混合。
NanoGPT Speedrun Track 1：在 8×H100 上用 38.9 秒达到目标损失，而此前纪录为 39.9 秒。结果仓库显示，18 次运行耗时 38.92 秒。
NanoGPT Speedrun Track 3：完成 2,590 个训练步，此前为 2,690 步。系统将权重拆分为方向和幅度两部分，并加入 EMA-Nesterov 外推。
SOL-ExecBench：在 B200 上完成 235 道内核题，平均 SOL 为 0.819，未达到排行榜冠军的 0.827。

ERNIE Evolve 与其他自动化研究系统对比

指标	ERNIE Evolve（百度）	Recursive	Hyra-1.0（腾讯混元）	(auto)²-research（rekursiv.ai）
NanoChat 验证集 BPB ↓	0.8763	0.9109	0.9015	0.8878
Speedrun 赛道 1 ↓	38.9 秒	77.5 秒	76.4 秒	未公布
Speedrun 赛道 3 ↓	2,590 步	未公布	未公布	未公布
SOL-ExecBench，自报 ↑	0.819	0.754	0.771	未公布
SOL-ExecBench，据百度公布（Eval Stack v1.1）↑	0.819	0.676	0.736	未公布
据称已投入生产使用	ERNIE-5.5-Flash 推理	未披露	科学任务（数学、分子）	未披露
公开内容	最终代码和日志	运行产物	结果代码仓库	配置方案和评测工具

Recursive 和 Hyra-1.0 的 Speedrun 成绩是与此前约 79.7 秒的纪录对比得出的，因此并非同等条件下的比较。Hyra 的 SOL 成绩为自报数据，来源见腾讯的报道。

ERNIE Evolve 为 ERNIE-5.5-Flash 推理做了什么？

随后，百度团队让该系统针对 ERNIE-5.5-Flash 的 3 项实际工程任务开展优化。各项基线此前已由工程师调优。

在昆仑芯 P800 上实现低延迟：经过 4 轮优化，生成速度提升至基线的 623.6%。第 1 轮通过模型的多词元预测层启用融合式 mHC 和推测解码（282.9%）。第 2 轮削减了主机端开销（588.8%）。第 4 轮修复了任务分发机制，使 DeepEP 的低延迟路径得以启用。
为强化学习提供确定性推理：在 SGLang 的确定性模式下，约 3 天内吞吐量提升 33.7%。每个输出词元的耗时下降 26%，首词元延迟下降 12%。用于确定性采样的 Triton 内核占用约 14% 的 GPU 时间，并带来了单项最大收益。
在 GPU 上进行单请求解码：速度提升 14.9%，准确率保持不变。7 个研究方向中有 3 个取得了收益。主要改动包括：针对小型 FP8 矩阵乘的 FP16 指令，以及两级 MoE 专家调度器。

主要结论

两层嵌套循环：由 Director 选择研究方向，由各个执行分支演化代码树。
隐藏的 Evaluator 加上 Reviewer，防止出现奖励作弊。
在 NanoChat（0.8763 BPB）和 Speedrun（38.9 秒、2,590 步）上取得公开领先成绩。
ERNIE-5.5-Flash：在昆仑芯 P800 上速度提升 623.6%，确定性吞吐量提升 33.7%。
系统仍不开放，仅在 GitHub 上公开结果和日志。

查看ERNIE Evolve 研究文章以及GitHub 上的结果代码仓库。此外，Twitter关注我们，也别忘了加入我们的15 万+ 成员 ML SubReddit并订阅新闻简报。等等！你在用 Telegram 吗？现在也可以加入我们的 Telegram 社区。

需要我们协助推广你的 GitHub 代码仓库、Hugging Face 页面、产品发布或网络研讨会吗？联系我们

文章《百度 ERNIE Evolve 自动化研究系统打破 NanoChat 和 NanoGPT 纪录》首发于MarkTechPost。