热点榜
热点事件已平息

百度开源 280B 基座模型并发布后训练预览版

10 篇报道5 个报道来源6 天前更新

先了解这件事

百度文心发布并开源 ERNIE-5.5-Flash-Base 基座模型,开放预训练终点权重,在 Hugging Face 提供 FP8 与 BF16 两种 safetensors 下载,采用 ERNIE 5.5 Flash Base Model License Agreement v1.0。百度称该模型为稀疏 MoE 语言模型,总参数 280B、每 token 激活 14B,预训练使用 33.5T tokens;权重未经中训练与后训练,供开发者做领域适配、指令微调和强化学习研究。

上下文长度上,百度称训练上下文达 128K,微调和推理设计上支持最长 1M-token。MarkTechPost 称其许可在年收入低于 5000 万美元时免费,但排除欧盟、英国和韩国。百度称该模型在同规模基座模型的多个基准上取得 SOTA,报道未给出独立验证。

11 月 11 日,百度发布基于该 Base 模型的首个后训练版本 ERNIE 5.5 Flash Preview,总参数 280B、激活 14B,支持 1M 上下文,API 已在千帆平台上线,权重将于 11 月 25 日前开源;百度称其为后训练中间版本,正式版仍将持续优化。

AI 根据报道生成 · 6 天前更新

最新进展

百度文心发布 ERNIE 5.5 Flash Preview,11 月 25 日前开源权重

热度走势

事件进展2

  1. 百度发布 ERNIE 5.5 Flash Preview 模型

    百度文心 ERNIE 官方博客:百度发布 ERNIE 5.5 Flash Preview,权重将于 11 月 25 日前开源
  2. 百度文心开源ERNIE 5.5 Flash Base模型

    百度文心 ERNIE 官方博客:百度发布并开源 ERNIE-5.5-Flash-Base 预训练 Base 模型

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。