百度开源文心5.5 Flash Base基座模型
先了解这件事
百度已开源文心5.5 Flash Base（ERNIE 5.5 Flash Base）基座模型。该模型采用稀疏MoE架构，总参数量2800亿，每个Token激活140亿参数，以33.5万亿Token完成预训练，训练上下文最高128K，微调和推理设计支持最长约1048576 Token；权重以FP8和BF16发布在Hugging Face与ModelScope，可通过SGLang和vLLM部署。 该模型仅提供completions端点，不提供聊天端点。许可证对年收入低于5000万美元的用户免费，但欧盟、英国和韩国除外。百度称模型多项基准达到同尺寸模型SOTA；后训练版本尚未发布。
AI 根据报道生成 · 4 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- MarkTechPost百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 基础模型
百度发布 ERNIE 5.5 Flash Base，这是一款总参数量 280B、每个 token 激活 14B 参数的文本稀疏 MoE 基础模型。模型提供 128K 训练上下文和 1M 微调及推理上下文，权重以 FP8 和 BF16 形式发布在 Hugging Face 与 ModelScope，并支持通过 SGLang 和 vLLM 部署。
- The Decoder百度发布 2800 亿参数开源基础模型 ERNIE 5.5 Flash Base
百度发布开源基础模型 ERNIE 5.5 Flash Base，采用 MoE 架构，总参数量 280B，每个输入激活 14B 参数。模型预训练使用 33.5T tokens，训练上下文最高为 128,000 tokens，微调和推理设计支持最高 1 million tokens；其权重以 FP8 和 BF16 格式在 Hugging Face 提供。
- 开源中国百度开源 ERNIE 5.5 Flash Base 基座模型
百度开源 ERNIE 5.5 Flash Base 基座模型，采用 MoE 架构，总参数量 2800 亿，每个 Token 激活 140 亿参数。模型使用 33.5 万亿个 Token 完成预训练，预训练上下文长度最高达 128K，微调与推理阶段支持最长 100 万 Token 上下文。
- 量子位精选百度开源文心5.5 Flash Base，多项基准达到同尺寸模型 SOTA
百度正式开源文心5.5 Flash Base（ERNIE 5.5 Flash Base），采用 MoE 架构，总参数量2800亿，每个 Token 激活140亿参数。