MarkTechPost· Michal Sutter·· 23 小时前AI 评分49
DeepSeek、Qwen、Mixtral、Llama 4 与 gpt-oss 的 MoE 路由机制对比
Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared
AI 导读
DeepSeek、Qwen、Mixtral、Llama 4 与 gpt-oss 等 10 款开源 MoE 模型采用 token-choice 路由，但在专家数量、top-k、共享专家、门控评分和负载均衡上差异明显。
来源：MarkTechPost · marktechpost.com