先了解这件事
百度文心发布并开源 ERNIE-5.5-Flash-Base 基座模型,开放预训练终点权重,在 Hugging Face 提供 FP8 与 BF16 两种 safetensors 下载,采用 ERNIE 5.5 Flash Base Model License Agreement v1.0。百度称该模型为稀疏 MoE 语言模型,总参数 280B、每 token 激活 14B,预训练使用 33.5T tokens;权重未经中训练与后训练,供开发者做领域适配、指令微调和强化学习研究。
上下文长度上,百度称训练上下文达 128K,微调和推理设计上支持最长 1M-token。MarkTechPost 称其许可在年收入低于 5000 万美元时免费,但排除欧盟、英国和韩国。百度称该模型在同规模基座模型的多个基准上取得 SOTA,报道未给出独立验证。
11 月 11 日,百度发布基于该 Base 模型的首个后训练版本 ERNIE 5.5 Flash Preview,总参数 280B、激活 14B,支持 1M 上下文,API 已在千帆平台上线,权重将于 11 月 25 日前开源;百度称其为后训练中间版本,正式版仍将持续优化。
AI 根据报道生成 · 6 天前更新最新进展
百度文心发布 ERNIE 5.5 Flash Preview,11 月 25 日前开源权重
热度走势
事件进展2
百度发布 ERNIE 5.5 Flash Preview 模型
百度文心 ERNIE 官方博客:百度发布 ERNIE 5.5 Flash Preview,权重将于 11 月 25 日前开源百度文心开源ERNIE 5.5 Flash Base模型
百度文心 ERNIE 官方博客:百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型