AWS Machine Learning Blog· Aswath Ram A Srinivasan·· 3 小时前AI 评分36
在 Amazon Bedrock 上用 NVIDIA NeMo Switchyard 为编码智能体请求路由到合适的模型
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
AI 导读
NVIDIA NeMo Switchyard 是一个开源库，可让 AI 智能体为每个请求选择由哪个模型处理，其 LiteLLM 集成支持 Stage 路由（读取请求历史中的工具活动与结果，在两个候选模型间选择）和 Random 路由（按权重分流用于 A/B 对比）。
来源：AWS Machine Learning Blog · aws.amazon.com