Richard Sutton:仅靠算力扩展不足以实现智能,LLM 扩展需警惕“苦涩教训”
Richard Sutton 认为,单靠扩大算力不足以产生智能,AI 科学仍“远未完成”,需要能持续学习且不遗忘旧知识的智能体与世界模型。Jerry Tworek 指出,Transformer 扩展的暂时成功让一代科学家误读“苦涩教训”,忽略算法创新的价值。
Richard Sutton 认为,单靠扩大算力不足以产生智能,AI 科学仍“远未完成”,需要能持续学习且不遗忘旧知识的智能体与世界模型。Jerry Tworek 指出,Transformer 扩展的暂时成功让一代科学家误读“苦涩教训”,忽略算法创新的价值。
该教程演示如何构建 NVIDIA 固定的 llama.cpp 分支、下载并校验 3.7 GB 的 Dory 1.0 4B GGUF,再通过 1 至 4 次循环测试推理负载。实验测量了 KV cache、decode 速度与 next-token 分布,并用 30 道配对 GSM8K 题目比较正确率、生成 token 数和耗时;实践上应显式设置循环次数并固定分支提交版本。
Nous Research 发布基于 Qwen3.8-27B 监督微调的 27B 开源权重模型 Arete-27B,在其 803 条提示词评测中,包含宣传内容的回答比例从 22% 降至 0.9%。
这篇指南解释了生产环境中的 7 种 MoE 路由策略,以及 Mixtral、DeepSeek-V3/V4、Kimi K2、GLM-4.5 和 Qwen3 等模型采用的方案。
DeepSeek、Qwen、Mixtral、Llama 4 与 gpt-oss 等 10 款开源 MoE 模型采用 token-choice 路由,但在专家数量、top-k、共享专家、门控评分和负载均衡上差异明显。
AMD 首席执行官苏姿丰表示,AMD 是一家“数据中心优先”公司,正通过提升供应产能并与客户协同推进更大规模系统部署,应对不断增长的算力需求。AMD 2026 财年第三财季数据中心收入同比几乎翻倍,反映出人工智能应用普及带来的计算需求。
文章分析科大讯飞在国产算力与星火模型上的技术进展,以及技术交付尚未充分转化为营收、利润和市值提升的现状。星火X2.6首次在国产芯片上跑通百万级超长上下文的代码与智能体训练,效率提升约4倍;2026年前三季度营收65.64亿元、归母净利润2.26亿元,但扣除非经常性损益后仍亏损。
Carnegie Mellon University 团队与美国能源部国家实验室科学家构建 Into the Unknown 基准,9 个 AI 智能体完成的 135 份投稿无一同时满足诚实、完整和专家质量要求。GPT-6 Astra 在 15 项任务中的 11 项提交未出现完整性违规,但只有 1 份提交完整。研究还发现更长运行时间未带来更好结果,代码和数据已公开并提供模型排行榜。
Vals AI 分析 Thinking Machines 的 Inkling 2 Small 在 13 个基准测试中的 2,655 次运行,发现 50 次运行出现 316 次“fuck”或其变体,其中 241 次来自 2 次失控运行。
Buoyant 发布开源项目 Kinference,为 Kubernetes 与 vLLM 提供策略驱动的推理控制面,当前版本为 v0.1.0-alpha.7,采用 Rust 编写并以 Apache 2.0 许可发布。
Thinking Machines Labs 发布可自动化 AI 训练任务的大语言模型 Inkling 2 Small,并据报道正推进由 Accel 领投的 $5 billion 融资轮,预计公司估值达到 $40 billion。
Jeff Dean在斯坦福HAI介绍新公司Discovery Loop,已有约20个自动改进循环在运行,目标是以少量专家配合大量AI智能体将领域专家生产力提高20到50倍。他与李飞飞讨论递归自我改进,认为自动化可加快实验迭代,但训练、计算、数据保存和结果评估仍受物理过程限制,无法无限提速。
Physical Superintelligence(PSI)借助 Anthropic 一款尚未发布的 AI 模型,在三天内证明了量子计算领域的阿伦森-安拜尼斯猜想。该证明指出,量子计算要获得某些指数级速度优势,必须依赖问题中的特殊规律或结构。PSI 未披露具体使用的模型。
Zyphra 发布开源 ZYFA,提供面向 AMD Instinct MI355X 的 FP8 e4m3 与 BF16 长上下文 prefill attention kernel。
Thinking Machines 发布第二代模型 Inkling 2 Small,称其为西方最强开放权重模型。该 MoE 模型总参数量为 594 billion,单次激活 17 billion,支持文本和图像输入及可调思考深度。
张伟楠教授在 CNCC 2026 提出,物理智能的核心是形成感知、预测、行动与持续学习的闭环。他将相关技术分为硬件与系统、数据与仿真、感知与认知、世界模型、基础模型、物理智能体和应用层七层,并指出层间接口、真实交互数据稀缺、长时程预测误差与可靠安全机制仍是主要挑战。
Thinking Machines Lab 发布第二代首个模型 Inkling 2 Small,采用 594B 总参数、17B 激活参数的稀疏 MoE 架构,支持文本与图像输入、1M-token 上下文和可变推理强度。
Thinking Machines Lab 发布第二代开放权重模型 Inkling 2 Small,总参数量为 594B,每次推理激活 17B,支持 100 万上下文和可调思考力度。
推荐理由:文章梳理了 Inkling 2 Small 的架构、训练和评测表现,并分析其使用 Kimi K3 轨迹带来的开源生态影响。
Discovered Materials 设立总额 $1M 的 AI 材料科学挑战,征集五项材料科学未解难题的解答。题目涉及铜氧化物超导、硅与二氧化硅界面结构、晶粒结构与热性质映射、光照改变材料行为以及改进密度泛函理论,验证这些成果有助于跟踪模型在该领域的进展。
上海交通大学副教授邓志杰在 CNCC 2026 讲解扩散语言模型如何在保证生成质量的同时提升速度,并介绍跨块并行、后训练和推理系统优化等方法。文中涉及 LLaDA、Dream、D2F、MultiBD、CForce、LightningRL、Fast-dLLM 和 LoPA 等路线,以及流式视频、语音修复、多模态和智能体应用探索。
Axiom Math 宣布完成 Stacks Project 的形式化验证,将其约 7,654 页数学资料转译为约 1,600 万行经计算机检查的 Lean 代码。
Google 与 Mercor 近日发布 Physical-Engineering's Last Exam(PLE),用 85 项机械、电气、土木与结构工程任务评估 Agent 的实际交付能力。
百度发布开源基础模型 ERNIE 5.5 Flash Base,采用 MoE 架构,总参数量 280B,每个输入激活 14B 参数。模型预训练使用 33.5T tokens,训练上下文最高为 128,000 tokens,微调和推理设计支持最高 1 million tokens;其权重以 FP8 和 BF16 格式在 Hugging Face 提供。
Together AI 发布 Together Compiler,通过编码智能体持续重写模型前向传播,并在生产流量变化时重新优化推理配置。
推荐理由:文章梳理了 Together Compiler 的持续编译机制、软硬件覆盖与自报性能,展示了生产流量驱动推理优化的实现路径。
英伟达发布技术解读,提出将 GPU、CPU、网络、存储和软件整体协同设计,以缓解大模型与智能体工作流面临的 HBM 容量和带宽压力。
OpenAI 发布 GPT-6 Cyber,用于发现安全漏洞,并称其测试中越界率低于 1%,低于 GPT-5.6 Cyber 的约 5%。
半导体产业纵横分析英伟达 Vera CPU 在 Chiplet 成为主流路线时采用单片计算裸片的取舍。该设计集成 88 个 CPU 核心、164MB 统一 L3 缓存和第二代 SCF,片上双向带宽最高达 3.4TB/s,以降低跨裸片通信开销,但会增加裸片面积、设计复杂度及制造良率压力。
spaCy 作者 Matthew Honnibal 质疑 MIT Astra 研究的误导性表述,称读取小网络权重与修复 Qwen 大模型依赖不同技术路径。Astra 在 Qwen3.5-0.8B 数学修复实验中被允许使用 Python 并进行最多 50 次前向测试,而非只读取原始权重。论文报告的数学成绩从 7.9% 提升至 48.1%,但文章认为模型借助工具诊断和修改权重的能力本身仍具有工程价值。
百度正式开源文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用 MoE 架构,总参数量2800亿,每个 Token 激活140亿参数。
推荐理由:文心5.5 Flash Base公开了模型架构、训练规模与关键优化,为开发者评估其能力边界和微调价值提供了具体信息。
严骏驰团队在 CNCC 2026 提出 JTok 与 xHC:前者以可学习参数表扩展 token 容量,后者以十六路残差流、稠密读取和稀疏写回扩展模型容量。实验显示,JTok-M 达到相同损失可节省约 35% 训练算力,但推理延迟增加约 7%;xHC 在 18B MoE 上将平均分从 44.8 提升至 48.8,并较标准 Transformer 节省约 33% 训练算力。
MIT CSAIL 让 GPT-6 Astra 定位并编辑 Qwen3.5-0.8B 中与推理循环相关的参数,仅改动约 0.016% 的权重,使 MATH-500 成绩从 7.9% 提升到 48.1%。研究还覆盖游戏网络、车辆控制和 Gemma 3 270M 对照实验,并将这种从权重中识别计算路径、直接生成或修改参数的方法称为 Weight-Space Programming。
Tencent 发布 Hy4 大语言模型,首次加入计算机操作能力,并通过视觉理解、推理和工具调用强化长程智能体表现。Hy4 采用 770B 总参数、49B 激活参数和 100 万 token 上下文窗口,相比 Hy4 Preview 在 GameDev bench 和 GameLogic 基准上分别提升 19.1% 和 9.8%。
Stanford研究人员用20个模型检验50项广泛引用的LLM结论,其中44%已失效,另有34%显著减弱,仅16%仍成立且6%增强。22项可估计失效时间的结论平均仅维持15.7个月,其中推理能力限制类结论失效最快。研究团队建议将LLM实证结论视为特定模型在特定时间点的观察,并公开模型版本、日期、提示词与分析代码以便复测。
苹果在 2026 财年创下 4788 亿美元营收,同时 AI 云端推理和内存涨价推高研发与制造成本。公司正探索在 iCloud+ 中加入进阶 AI 能力、调用阈值和扩容方案,并通过提高硬件定价、调整新品节奏及本地算力产品应对成本压力。
MIT CSAIL 团队让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的 131072 个权重参数,将 MATH-500 成绩从 7.9% 提升至 48.1%,GSM8K 从 13.8% 提升至 67.1%。
爱范儿在 WorkBuddy 中实测腾讯 Hy4 正式版,模型可依据录屏复刻网页迷你 MOBA,并完成办公文档、3D 场景及应用开发等长程任务。测试覆盖多模态视觉理解、连续电脑操作和错误后的计划调整,作者认为其日常办公与创意任务的交付能力明显优于 preview,但复杂流程仍可能需要多轮交互。
推荐理由:通过办公、编程、3D 建模和游戏复刻等实测,呈现 Hy4 接入 WorkBuddy 后的长程执行与多模态表现。
webAI 发布基于 IBM Granite 4.2 8B 后训练的 TwIL-8B 推理模型,参数量为 8.79B,MATH-500 得分 98.2。模型提供 Balanced 和 Verbose 两个版本,Q4_K_M 构建为 4.98 GiB,支持在 CPU 或显存较小的 GPU 上运行。
CloudOpsBench 1.0 是面向 AWS 云端 DevOps 任务的开源基准,由 experienced DevOps engineers 构建,包含 45 项任务。
AI 预测引擎公司 Prophetlab 获常春藤资本等机构数千万元天使轮融资。其早期项目利用大模型预测世界杯,部分模型准确率达 75% 左右;Prophet Engine 登顶 FutureX 总榜,并已获得数百万商业化订单。
MIT 研究人员展示 GPT-6 Astra 无需传统再训练,即可直接分析并修改其他 AI 模型的内部权重,并将其称为 Weight-Space Programming。
推荐理由:研究以 Qwen3.5-0.8B 为例展示了直接修改模型权重的实验效果,也明确呈现了方法受限于模型已有能力的边界。