先了解这件事
Cartesia 发布两篇系列博客的第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果。Cartesia 称,与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.28 倍计算,下游评测约 2 倍,代码任务中位数 2.04 倍,分布外编程语言中位数达 3.10 倍(如 Prolog 5.37 倍)。
这些数字是 Cartesia 在博客中给出的对比结果,针对的是字节级建模与严格匹配的 BPE 基线,并非已独立验证的通用效率结论。该系列第二篇尚未发布。
AI 根据报道生成 · 19 天前更新最新进展
Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率
事件进展1
Cartesia发布H-Net架构扩展至多模态的研究博客
Cartesia 产品与研究:Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率