SGLang 发布 AWS Trainium 插件 Beta
Announcing the SGLang AWS Trainium Plugin Beta
AI 导读SGLang 与 AWS 合作推出基于 TorchNeuron 的 Trainium 插件 Beta,支持在 Trainium2 和 Trainium3 上进行 LLM 推理服务与 RL rollout 生成。
来源:LMSYS Blog · lmsys.org
事件后续1
查看事件全部- AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端开源PyTorch:Blog · 28 天前