先了解这件事
Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
最新进展
Zyphra 发布 7B 混合架构基础模型 Zamba
事件进展1
Zyphra 发布 Zamba 7B 参数基础模型,开源权重及全部训练检查点(Apache 2.0),技术报告与 Hugging Face 集成即将发布
Zyphra Research:Zyphra 发布 7B 混合架构基础模型 Zamba
Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
Zyphra 发布 7B 混合架构基础模型 Zamba