跳到正文
  1. Latent Space78

    DeepSeek 开源生产推理栈 DeepInfer,单集群日处理 155T tokens

    DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer,并披露单集群日处理 155T tokens、96% 输入缓存命中、非高峰时段每加速器小时 38 美元收入等数据。

    推荐理由:读者可看到 DeepInfer 公开了哪些生产推理组件、哪些仍留在内部,以及 vLLM 复现结果如何限定其效率优势。

已经到底了