TorchNeuron 接入 Hugging Face 与 AWS Trainium

Hugging Face 推出 PyTorch 原生后端 TorchNeuron，使 Transformers、Diffusers 和 Kernels 库可直接在 AWS Trainium 上运行模型并上传至 Hub。该后端于 2026 年 10 月 20 日进入公开测试，可通过 pip install torch-neuronx 安装。AWS 同期发布该工具，据 Amazon 称，PyTorch 应用只需改一行配置即可迁移到 Trainium，无需重写代码。 Hugging Face 说明的限制包括：Transformers 内置异步权重加载在 Neuron 上不受支持，需用 HF_DEACTIVATE_ASYNC_LOAD=1 关闭；Neuron 后端尚不能编译 Dynamo 的自动动态形状。 Hugging Face 随后上线 torch-neuronx 模型支持查询 Space，可查 Hub 热门模型能否在 Trainium 上原样运行。其称当前仅测试 Transformers 的文本生成和图文转文本模型，且限于能放进 4 块 Trainium2 设备（最多 16 核）的模型；PASS 不代表吞吐量或更长生成的表现。

AI 根据报道生成 · 7 天前更新

1. 10月23日 08:00 · 1 篇报道
   Hugging Face 上线 Trainium 模型支持查询 Space
   Hugging Face Blog：Hugging Face 上线 torch-neuronx 模型支持查询 Space，可查模型能否在 AWS Trainium 上运行
2. 10月22日 00:04 · 1 篇报道
   发布 TorchNeuron 系统级性能分析教程
   Hugging Face Blog：TorchNeuron 性能剖析（一）：在 AWS Trainium 上做系统级性能分析
3. 10月20日 04:09 · 1 篇报道
   AWS发布TorchNeuron开发工具
   TechCrunch · AI：AWS 发布 TorchNeuron 开发工具，让 PyTorch 应用一行配置跑上 Trainium
4. 10月19日 08:00 · 1 篇报道
   Hugging Face 集成 TorchNeuron 原生后端
   Hugging Face Blog：TorchNeuron：在 AWS Trainium 上运行 Hugging Face 模型更简单了