AWS Machine Learning Blog· Alex Nails·· 3 小时前AI 评分36
SGLang-Neuron 上线 AWS Trainium,可用 SGLang 接口部署前沿 AI 模型
Deploy frontier AI models on AWS Trainium with SGLang-Neuron
AI 导读
Amazon 宣布 SGLang-Neuron 通过 AWS Deep Learning Container 公开可用,由 RadixArk 与 Annapurna Labs 合作发布,可在 Trainium 上用现有 SGLang 接口部署模型并生成 RL rollout。
来源:AWS Machine Learning Blog · aws.amazon.com