百度开源 ERNIE 5.5 Flash Base 基座模型:280B 总参数、14B 激活
ERNIE 5.5 Flash Base just dropped! Time to open that project folder. 🚀
AI 导读百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 基座语言模型并开放权重。模型总参数 280B、每 token 激活 14B,预训练 33.5T tokens,微调和推理上下文最长 1M-token,提供 FP8 与 BF16 权重。官方称其在同规模基座模型中于多个基准取得 SOTA,权重直接来自预训练、未做中后期训练,方便研究者在同一 checkpoint 上比较不同方法的效果。
另有 7 家信源报道
- 百度开源 280B 参数的 ERNIE 5.5 Flash Base 基础模型百度 Baidu · 11 天前
- 百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型百度文心 ERNIE 官方博客 · 11 天前
- 百度发布 ERNIE 5.5 Flash Base:280B 总参、14B 激活的 MoE 基座模型MarkTechPost · 11 天前
- 百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构The Decoder:AI News · 11 天前
- 百度开源 ERNIE-5.5-Flash-Base 基座模型百度文心 ERNIE 官方博客 · 11 天前
- 百度发布 ERNIE 5.5 Flash Base 并上架 Hugging Face百度 Baidu · 11 天前
- 百度文心开源 ERNIE-5.5-Flash-Base 基座模型,总参数 280B 每 token 激活 14BIT之家·人工智能 · 11 天前
来源:百度 Baidu · x.com
事件后续2
查看事件全部- 百度发布 ERNIE 5.5 Flash Preview,权重将于 11 月 25 日前开源百度文心 ERNIE 官方博客 · 6 天前
- 百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型百度文心 ERNIE 官方博客 · 11 天前