先了解这件事
AWS 发布开源原生 PyTorch 后端 TorchNeuron,以 Apache 2.0 协议在 github.com/aws-neuron/torch-neuronx 开放,10 月 20 日起进入公测,可通过 pip install torch-neuronx 安装。AWS 称,现有 PyTorch 模型代码、库和工具可直接在 Trainium 上运行;TechCrunch 报道称,迁移只需改一行配置,无需重写代码。
围绕 TorchNeuron 的配套支持随后出现:Hugging Face 宣布 Transformers、Diffusers、Accelerate、PEFT 和 TRL 原生支持 Trainium,并上线模型支持查询 Space,但该 Space 目前只测试 Transformers 的文本生成和图文转文本模型,且限于能放进 4 台 Trainium2(最多 16 核)的模型;SGLang 与 AWS 推出基于 TorchNeuron 的 Trainium 插件 Beta,初期仅限少量团队申请使用。
Amazon Science 称,TorchNeuron 可选的自适应 eager 模式通过分组编译、动态选择子图和多级缓存减少重复编译,在单机 64 进程的大语言模型测试中把首个训练步时间缩短约三分之一。SemiAnalysis 则分享了在 Trainium2、Trainium3 上使用 TorchTitan 与 TorchNeuron 训练栈的实测体验。上述性能说法来自发布方或测试方,尚非普遍验证的效果。
AI 根据报道生成 · 7 天前更新最新进展
SemiAnalysis 实测 Trainium3 原生 PyTorch 训练体验
事件进展5
SemiAnalysis分享Trainium3训练栈体验
SemiAnalysis 长文 RSS:SemiAnalysis 实测 Trainium3 原生 PyTorch 训练体验Hugging Face 上线 torch-neuronx 模型支持 Space
Hugging Face 官方团队博客:Hugging Face 上线 torch-neuronx 模型支持查询 Space,可查模型能否在 AWS Trainium 上运行TorchNeuron系统级性能分析教程第一部分
Hugging Face 社区博客:TorchNeuron 性能剖析(一):在 AWS Trainium 上做系统级性能分析SGLang发布AWS Trainium插件Beta版
LMSYS Blog:SGLang 发布 AWS Trainium 插件 Beta发布 TorchNeuron:AWS Trainium 的原生 PyTorch 后端
PyTorch:Blog:AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端开源