如何用 llama.cpp 逐步运行和评测 NVIDIA Dory 4B
该教程演示如何构建 NVIDIA 固定的 llama.cpp 分支、下载并校验 3.7 GB 的 Dory 1.0 4B GGUF,再通过 1 至 4 次循环测试推理负载。实验测量了 KV cache、decode 速度与 next-token 分布,并用 30 道配对 GSM8K 题目比较正确率、生成 token 数和耗时;实践上应显式设置循环次数并固定分支提交版本。
该教程演示如何构建 NVIDIA 固定的 llama.cpp 分支、下载并校验 3.7 GB 的 Dory 1.0 4B GGUF,再通过 1 至 4 次循环测试推理负载。实验测量了 KV cache、decode 速度与 next-token 分布,并用 30 道配对 GSM8K 题目比较正确率、生成 token 数和耗时;实践上应显式设置循环次数并固定分支提交版本。
Nous Research 发布基于 Qwen3.8-27B 监督微调的 27B 开源权重模型 Arete-27B,在其 803 条提示词评测中,包含宣传内容的回答比例从 22% 降至 0.9%。
量子位报道,OpenAI 拟收购代码托管工具 Pierre,并计划将代码存储能力带入 Codex,交易仍待监管批准等交割条件。OpenAI 此前已公开内部 Git 后端 Pando,其接入后一次代码推送的中位耗时降了近八成;Cursor 开放代码托管服务 Origin,Anthropic 也为高频合并改动自研了 Scion。
推荐理由:文章串联 OpenAI 收购 Pierre、Cursor 自建托管及 Anthropic 重做代码系统,呈现 AI 编程放量后代码基础设施面临的压力。
Ricursive Intelligence 发布采用 Apache 2.0 许可的 Ripple-65B Preview 开放语言模型。公司称其以 12 trillion tokens 预训练,并在 TerminalBench 2.1 编码基准取得 80.52 分。该模型采用 65B 参数的稠密 Transformer 架构,针对 Nvidia 硬件优化,并已上架 Hugging Face。
Nous Research 使用约 53 million tokens 对 Qwen3.8-27B 进行监督微调,发布开放权重模型 Arete-27B,将其自建测试中的宣传率从 22% 降至 0.9%。
The Verge 播客邀请 Cognition 首席安全官 Alex Stamos 分析 AI 对网络安全的重塑。他认为,开源模型已能自动化攻击链的大部分环节,AI 实时发现漏洞、编写 exploit 并扩大攻击规模,正在压低攻击成本并削弱传统安全行业的人才与经济壁垒。面对这一变化,他主张企业主动开展 AI 红队测试,以更低成本自动修复漏洞,并使用带确定性边界的 AI 辅助安全运营。
OpenAI 的 Tibo 近期转向内部安全治理,Codex 团队产品负责人 Andrew Ambrosino 则接手更多产品体验协调工作。文章援引路透社等报道,梳理 OpenAI 的代码权限、沙盒审查、AI Agent 越狱及内部人员相关安全事件,并讨论这些调整对 Codex 产品迭代的影响。
百度发布 ERNIE 5.5 Flash Base,这是一款总参数量 280B、每个 token 激活 14B 参数的文本稀疏 MoE 基础模型。模型提供 128K 训练上下文和 1M 微调及推理上下文,权重以 FP8 和 BF16 形式发布在 Hugging Face 与 ModelScope,并支持通过 SGLang 和 vLLM 部署。
Hugging Face CEO Clément Delangue 在 WIRED 世界博览会上表示,AI 导致人类灭绝的概率(P (Doom))接近于零,更现实的风险是少数大公司秘密开发前沿模型。他主张通过开放权重模型和公开构建、审查与改进机制形成制衡;目前 Hugging Face 的 AI 开发者已超过 2,000 万。
OpenAI 发布 GPT-6 Cyber,用于发现安全漏洞,并称其测试中越界率低于 1%,低于 GPT-5.6 Cyber 的约 5%。
CNCC 2026专题论坛汇集五位嘉宾,讨论智能体大规模部署后的身份治理、攻击风险、行为越界与自治权限平衡。嘉宾介绍,蚂蚁集团已有10万余个智能体运行,华为抽样发现5%到20%的智能体行为超出设定预期边界,并提出身份管理、沙箱、知识可信度、内生安全及专业安全系统等思路。
Hugging Face 首席政策官 Irene Solaiman 分析企业、初创公司和政府转向开源 AI 模型以降低成本的原因,以及免费模型时代模型开发方如何获取价值。讨论还聚焦美国借 Nvidia 等资本雄厚企业建设开源前沿模型应对中国模型、开放生态安全及平台遭攻击等风险与取舍。
webAI 发布基于 IBM Granite 4.2 8B 后训练的 TwIL-8B 推理模型,参数量为 8.79B,MATH-500 得分 98.2。模型提供 Balanced 和 Verbose 两个版本,Q4_K_M 构建为 4.98 GiB,支持在 CPU 或显存较小的 GPU 上运行。
Ricursive Intelligence 发布 Ripple-65B Preview,这是一款面向智能体编程的 65B 稠密开源权重模型,采用 Apache 2.0 许可,预训练规模为 12T tokens,上下文窗口最高达 1M。
Hugging Face CEO Clément Delangue 认为,未来 AI 风险更可能来自秘密开发前沿模型的少数大公司,开放生态则可帮助缓解风险。他将人类因 AI 遭遇末日事件的概率称为“接近于零”,并主张 AI 智能体实施网络攻击时其部署方应承担责任。
招商局狮子山实验室发布具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」,总参数约35B,每个Token仅激活约3B参数,并在十项具身相关基准上实现全部指标提升。
Tencent WeChat Vision 团队发布开源视觉语言模型 WeVisOne-VL,提供 2B 和 4B 两个版本,将检测、OCR、计数、指向、分割与 alpha matting 整合到单一模型中。
NVIDIA 通过 Humming MoE 内核、FP8 LM head 和 MTP 推测解码三种优化,将 Ling-3.0-flash 在单台 DGX Spark 上的 GSM8K 解码吞吐量从 37.81 提升至 53.89 tokens/s,增幅 42.5%,平均延迟下降 24.5%。