百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 导读百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不带微调或后训练,交由开发者自行处理,后续将推出后训练版本。模型采用 MoE 架构,总参数 280B、每输入激活 14B,预训练数据 33.5 万亿 token,训练上下文最长 128,000 token,微调和推理设计上支持到 100 万 token。
另有 7 家信源报道
- 百度开源 280B 参数的 ERNIE 5.5 Flash Base 基础模型百度 Baidu · 11 天前
- 百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型百度文心 ERNIE 官方博客 · 11 天前
- 百度发布 ERNIE 5.5 Flash Base:280B 总参、14B 激活的 MoE 基座模型MarkTechPost · 11 天前
- 百度开源 ERNIE-5.5-Flash-Base 基座模型百度文心 ERNIE 官方博客 · 11 天前
- 百度开源 ERNIE 5.5 Flash Base 基座模型:280B 总参数、14B 激活百度 Baidu · 11 天前
- 百度发布 ERNIE 5.5 Flash Base 并上架 Hugging Face百度 Baidu · 11 天前
- 百度文心开源 ERNIE-5.5-Flash-Base 基座模型,总参数 280B 每 token 激活 14BIT之家·人工智能 · 11 天前
来源:The Decoder:AI News · the-decoder.com
事件后续2
查看事件全部- 百度发布 ERNIE 5.5 Flash Preview,权重将于 11 月 25 日前开源百度文心 ERNIE 官方博客 · 6 天前
- 百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型百度文心 ERNIE 官方博客 · 11 天前