热点榜
热点事件已平息

AWS 开源 TorchNeuron,PyTorch 模型可跑在 Trainium 上

9 篇报道7 个报道来源24 天前更新

先了解这件事

AWS 发布开源原生 PyTorch 后端 TorchNeuron,以 Apache 2.0 协议在 github.com/aws-neuron/torch-neuronx 开放,10 月 20 日起进入公测,可通过 pip install torch-neuronx 安装。AWS 称,现有 PyTorch 模型代码、库和工具可直接在 Trainium 上运行;TechCrunch 报道称,迁移只需改一行配置,无需重写代码。

围绕 TorchNeuron 的配套支持随后出现:Hugging Face 宣布 Transformers、Diffusers、Accelerate、PEFT 和 TRL 原生支持 Trainium,并上线模型支持查询 Space,但该 Space 目前只测试 Transformers 的文本生成和图文转文本模型,且限于能放进 4 台 Trainium2(最多 16 核)的模型;SGLang 与 AWS 推出基于 TorchNeuron 的 Trainium 插件 Beta,初期仅限少量团队申请使用。

Amazon Science 称,TorchNeuron 可选的自适应 eager 模式通过分组编译、动态选择子图和多级缓存减少重复编译,在单机 64 进程的大语言模型测试中把首个训练步时间缩短约三分之一。SemiAnalysis 则分享了在 Trainium2、Trainium3 上使用 TorchTitan 与 TorchNeuron 训练栈的实测体验。上述性能说法来自发布方或测试方,尚非普遍验证的效果。

AI 根据报道生成 · 7 天前更新

最新进展

SemiAnalysis 实测 Trainium3 原生 PyTorch 训练体验

事件进展5

  1. SemiAnalysis分享Trainium3训练栈体验

    SemiAnalysis 长文 RSS:SemiAnalysis 实测 Trainium3 原生 PyTorch 训练体验
  2. Hugging Face 上线 torch-neuronx 模型支持 Space

    Hugging Face 官方团队博客:Hugging Face 上线 torch-neuronx 模型支持查询 Space,可查模型能否在 AWS Trainium 上运行
  3. TorchNeuron系统级性能分析教程第一部分

    Hugging Face 社区博客:TorchNeuron 性能剖析(一):在 AWS Trainium 上做系统级性能分析
  4. SGLang发布AWS Trainium插件Beta版

    LMSYS Blog:SGLang 发布 AWS Trainium 插件 Beta
  5. 发布 TorchNeuron:AWS Trainium 的原生 PyTorch 后端

    PyTorch:Blog:AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端开源

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。