Amazon 开源 TorchNeuron:在 AWS Trainium 上高效运行 PyTorch 的新后端
The science behind TorchNeuron, Amazon’s new PyTorch backend for AWS Trainium chips
AI 导读Amazon 发布开源后端 TorchNeuron,可将现有 PyTorch 代码翻译为在 AWS Trainium 芯片上执行的操作,且几乎无需修改代码。其可选的自适应 eager 模式将操作分组编译并动态选择子图,用多级缓存(内存、磁盘及跨进程共享编译服务)避免重复编译,在单机 64 进程的大语言模型测试中把首个训练步时间缩短约三分之一。
另有 3 家信源报道
- AWS 发布 TorchNeuron 开发工具,助 PyTorch 应用一行配置迁移至 Trainium 芯片TechCrunch:AI · 28 天前
- TorchNeuron 开放公测:Hugging Face 库原生支持 AWS TrainiumHugging Face 官方团队博客 · 28 天前
- AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端开源PyTorch:Blog · 28 天前
来源:Amazon Science · amazon.science
事件后续1
查看事件全部- AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端开源PyTorch:Blog · 28 天前