EXL 如何设计可持续的 AI 服务框架(serving harness)
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其核心主张是先按业务负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致 GPU 显存瓶颈为例,强调先测量再优化。框架还需具备适应性,使换模型成为评估与配置决策而非架构重建。
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其核心主张是先按业务负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致 GPU 显存瓶颈为例,强调先测量再优化。框架还需具备适应性,使换模型成为评估与配置决策而非架构重建。
WD 内部测量显示,一段 8 秒 AI 视频(用户拿到的是 3.97MB 的 720p 文件)在后台留下超过 500MB 关联数据,是输出文件体积的 130 倍。
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 分享了公司如何把"按交付成果付费"的模式扩展为面向财富 2000 强企业的 AI 原生 SDLC。
企业 AI 的衡量重点正从 token 或 GPU 小时单价转向"每个有用产出的有效成本",即完成可被业务使用的请求或工作流所需的平台、模型、运维与容量总成本。
AWS 提出 Trust in Depth 框架,用自动化推理等独立分层机制验证 AI 智能体的行为边界,让其在规则可验证时自主行动、仅将真正需要判断的决策交给人。