Zyphra 发布 7B 混合架构基础模型 Zamba
ZAMBA
AI 导读Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
来源:Zyphra Research · zyphra.com
事件后续1
查看事件全部- Zyphra 发布 7B 混合架构基础模型 ZambaZyphra Research · 4 月 16 日
ZAMBA
AI 导读Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
来源:Zyphra Research · zyphra.com