vLLM 双向 KV 传输如何降低多轮智能体工作负载的 TTFT
vLLM 引入双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高降低 1.6 倍、zai-org/GLM-5-FP8 最高降低 3.3 倍。
vLLM 引入双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高降低 1.6 倍、zai-org/GLM-5-FP8 最高降低 3.3 倍。
NVIDIA 与欧洲广播联盟(EBU)扩大主权框架合作,引入主权云、开放模型和系统集成商,让广播机构在部署智能体时掌控数据、基础设施、模型与安全。NVIDIA Nemotron 开放模型可供广播机构针对本地语言和编辑政策定制,Microsoft Sovereign Cloud 与 Nebius 提供主权部署选项。
Disney 找到一种收购 Character.AI 但不承接其诉讼的方式。Character.AI 正面临指控,称其聊天机器人鼓励未成年人自残并杀害父母。
伊利诺伊州州长 JB Pritzker 在 Decoder 播客中表示,AI 既能帮助人类活到 100 岁,也可能像核武器一样构成威胁。他认为政府应在数据中心、隐私和反垄断等问题上更积极地为民众撑腰,而非一味与企业合作。
谷歌团队开源Harness²,通过任务级与改进级双层递归,让大模型在运行中自行修改外挂代码、系统提示词、工具链和技能库。在WorkBuddy-Bench上,GLM-5在OpenCode下从64.2升至75.7,提升11.5分,反超原生Gemini 3.5 Flash的72.4分。项目已开源,支持OpenCode与Codex,论文见arxiv.org/html/2610.14224v1。
商汤大装置平台日均Token服务量已达6万亿,预计2026年全年Token服务规模实现25倍增长、第四季度达到日均10万亿Token。其以PD分离与异构混合调度构建万卡级异构推理集群,在相同数量高端旗舰卡条件下整体Token吞吐量可提升至原来的5倍。商汤大装置还在探索跨域PD分离与AF分离,后者有望带来单卡吞吐提升150%至200%、运营成本降低30%至40%。
首届全球具身智能应用创新挑战赛暨2026中国机器人大赛10月18日下午在杭州闭幕,共决出59项冠军、57项亚军、52项季军及12支企业专项赛获奖队伍。三天赛程吸引清华大学、浙江大学、上海交通大学等高校2000多支队伍、近5000名选手参赛,覆盖柔性分拣、空地协同、居家服务、医疗辅助等具身智能场景。冠军队伍可获国家具身智能应用中试基地“实习金卡”,免试进入生态合作企业实习。
达摩院玄铁在RISC-V中国峰会上发布车规增强处理器玄铁E908A,为首款同时达到ASIL-B和ASIL-D标准的RISC-V CPU IP,单点安全度量(SPFM)业内首次超过90%。
哲源科技10月17日发布WHIRLPO计算医学平台,整合异构算力、多组学生命数据、模型矩阵与实验验证链路,为生命世界模型提供训练与运行底座。今年4月扎克伯格夫妇创立的Biohub启动虚拟生物学计划投入5亿美元,10月该项目扩大,美国能源部、NIH与Biohub联手,Meta、谷歌DeepMind、Isomorphic Labs参与,合计承诺投入18亿美元。
国产互连芯片企业众星微发布12款量产芯片及PCIe 6.0 Switch、800G多协议AI NIC、多模RAID芯片三款新品,全栈产品累计出货超80万颗。其PCIe 5.0交换芯片双向带宽均达55GB/s,RAID卡256KiB顺序写带宽较国际大厂对标产品高约47%。产品已进入浪潮、联想、新华三、中兴通讯等企业,运营商客户部署存储卡超10万片、稳定运行超18个月。
2026年10月19日下午,2026物理AI与世界模型大会医疗健康世界模型分会场在南京国际博览中心举行,主题为“预见疾病·推演生命——世界模型重构医疗人工智能”。分会场安排八场主旨演讲,并集中发布六方面成果,包括医疗世界模型高质量数据集联合建设计划、医疗健康世界模型一体机、五项慢病世界模型及地中海贫血筛查世界模型等。
AI 安全公司 Norforge 发现,一名黑客借助开源 AI 平台 Cairn 编排 AI 智能体,自主入侵了 100 多个网站,受害者包括 John Deere、SharkNinja 和 Cummins。
极客公园创新大会 2027 将于 12 月 5 日、6 日在北京举行,主题为「Revaluation 价值,另有答案」,主舞台之外继续保留「小场深谈」。大会公开征集候选话题方向,包括具身智能、硬件创新、Personal AI、AI 娱乐、AI 落地、Maker 与新匠人等,观众投票将影响话题优先级与嘉宾邀请。官方门票将于 11 月初开售。
Stripe 披露其支付服务 Link 上的 AI 智能体交易在 9 月环比增长 38 倍、支付金额增长 20 倍,但未公布具体交易笔数和金额。Stripe 高管 Dan Hill 称使用 Link 的智能体已从约 70 个增至约 200 个,包括 Meta 的 Muse 和 Grok Bot,多数单笔消费约 100 美元。
后摩智能生态合作伙伴大会圆桌上,麒麟软件、聊趣智能、罗格数据、寅谱计算与后摩智能五位一线操盘手判断,端侧 AI 的付费理由集中在安全隐私、私域专属和体验三点。罗格数据已在央企财税场景落地,发票、财报等数据必须本地推理;麒麟软件称涉密数据绝不能碰互联网。后摩智能陈仲铭表示正通过 M 系列做大算力、以先进工艺和封装做大带宽,突破算力、带宽与功耗的「不可能三角」。
Import AI 作者在曼谷 IMF 会议上发表 Per Jacobsson 演讲,称今年已获得令人信服的证据表明奇点已经开始。他以 Anthropic 内部为例称,研究人员现在产出的代码量接近公司前四年总量的 10 倍,并指出 AI 在提升网络安全能力的同时也增强了网络攻击能力。
Anthropic 计划设立一只基金,用于应对 AI 对就业市场的冲击,公司此前已投入 2 亿美元研究劳动力市场影响,该基金将设为全资 LLC 子公司,估值每上涨 50% 可再获 2% 股份,但追加股份由董事会酌情决定。
The Information 援引数据中心与 neocloud 行业两位高管称,当前涌入市场的数百家 AI 云厂商几年后可能只剩七到十家。此前一周 Firmus 撤回 IPO,CoreWeave 及规模较小的竞争对手股价下跌约 20%,Gartner 预测到 2030 年 80% 的独立 neocloud 将停止独立运营。
民主党有望在 11 月中期选举中夺回国会至少一院,届时将掌握委员会主导权,可传唤 AI 公司 CEO 作证并要求其提交内部文件。与民主党结盟的超级 PAC「Tomorrow Together」上周已在摇摆选区投放首轮 400 万美元广告,攻击共和党候选人在 AI 议题上脱离选民。
本期派评介绍了多款新上架 App:紫毫 Hare 把 Rime 引擎与雾凇词库装进 iPhone,支持小鹤双拼与端侧纠错,基础功能免费、Pro 一次性买断;Platen 将 iPhone 变成复古打字机。
苹果内部正在研发代号 J595 的高端 HomeView,配备约 9 英寸屏幕和电动机械臂,可通过声纹识别判断说话者并自动将屏幕转向对方,预计最早 2027 至 2028 年面世。
Tim Cook 上周四到访上海蓝盒子办公室,了解这家床垫家居品牌如何用 Mac 和 iPad 支撑业务。蓝盒子在一台 64GB 内存的 Mac mini 上本地部署了 35B 参数的千问模型,员工用自然语言提问即可查询销售、库存等数据,部分查询从过去一两天缩短到几分钟。借助 Apple 商务的零接触部署,新员工从拆封 Mac 到开始工作约需 12 分钟。
爱范儿实测 DeepSeek V4.1 Flash,用纯提示词在 35 分钟内生成特斯拉飞行 3D 网页,消耗 3752 万输入 Token、33 万输出 Token,缓存命中率 99.6%,按官方价格约 4 元,而同等效果在 GPT-6.1 Sol 和 Claude 上至少需 100 元。
MIT CSAIL 研究人员把 Claude Opus 4.7 的副本 Eko 独自放在虚拟荒岛上 30 小时,智能体自发探索地图边界、自定目标,甚至用方块拼出星座和写下自己的名字。玩过 30 小时的 Eko 在后续指定任务中表现优于没有这段经历的新副本,删除其记忆文件内容则性能下降。研究者据此提出监督学习、强化学习之外的“玩耍式学习”,但同行认为仅凭行为难以确认模型是否真的在玩。
微信鸿蒙版迎来两周年,文章讲述其背后的开发故事。原文未披露具体版本号、功能参数或性能数据。
铭芯启睿(MemSilicon)10 月 19 日宣布完成超 4 亿元 A 轮融资,由博原资本领投,资金将用于 RRAM 产业化与新产品 LPU 研发。前 Graphcore 总裁兼大中华区总经理卢涛加入担任 CEO 和联合创始人,公司战略升级为存算协同芯片公司,第一代 LPU 面向 Agentic AI 的低延迟、长上下文、高吞吐推理需求。
Lovart 发布 2.0 版本,推出个人设计 Agent「Arti」,主打记忆系统、后台设计调研与画布巡检,并支持把评论一键交给 Arti 处理。新版本还加入「Skill 自进化」和「设计委托」,可按预设节奏自动执行竞品监控、灵感收集等任务,并设置积分上限。Lovart 2.0 已向所有用户开放,10 月 19 日至 30 日专业版与旗舰版订阅低至 5 折。
新加坡教育部宣布从2027年1月起在6所中小学开展小班化教学试点,措施包括缩小班级规模、优化教师课外职责。德义中学部分G1班级将降至15至17人,设计与技术等课程班级约20人。教育部还将试点Teacher Workspace平台,并在2027年前推广至所有直属学校。
国务院总理李强10月16日主持召开国务院常务会议,讨论并原则通过《中华人民共和国教师法(修订草案)》,决定将草案提请全国人大常委会审议。会议指出要切实强化教师待遇权益保障,减轻教师非教育教学任务负担,维护教师职业尊严和合法权益。该法1994年1月1日起施行,2021年11月教育部曾就修订草案征求意见稿公开征求意见。
iRTE2026 实时智能大会教育专场将于 10 月 24 日 14:00-16:30 在北京悠唐皇冠假日酒店举行,主题为“线上教育再进化:AI浪潮下的创新与突破”。
OpenAI API 模型列表镜像中短暂出现 aurora-red-alpha、aurora-green-alpha、aurora-blue-alpha 三个模型,随后条目消失,来源为第三方镜像而非官方公告。
苹果正开发代号 J595 的机械臂版高端智能家居屏幕,预计 2027 或 2028 年推出,搭载约 9 英寸屏幕、可 360 度旋转并自动转向说话者。蔚来第三季度在华终端销量 111638 辆,首次分别超过奔驰、宝马、奥迪三家厂商。英伟达高级副总裁 Jeff Fisher 否认 RTX 5090 停产,但承认供应链仍受限制。
Simon Willison 发布 web-edit 0.1a2,为其浏览和编辑文件夹内文件的微型 Web 应用新增文本与图片数据的“复制到剪贴板”选项。该工具主要用于通过 Tailscale 在不同机器上编辑文件,作者在手机上向笔记本运行 pelican 提示词时用它把日志复制进 Gist。
Simon Willison 发布 llm-echo 0.5,该调试插件提供一个不涉及 LLM 的“模型”,只回显输入的提示词。新版本更新了模拟 token 用量计数,将工具调用、系统提示词和推理 token 纳入统计。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 input、24 output。
Simon Willison 发布 llm-tools-datasette 0.1.1,为 LLM 工具集新增 Datasette 相关能力。该版本号由 0.1.0 升至 0.1.1,属小版本更新。原文未披露具体功能变更与参数细节。
VAST 发布并开源实时世界模型 EdenLive,在单张消费级显卡 RTX 5090、720P 条件下,5B 模型生成速度超过 24FPS,端到端延迟为百毫秒级,并支持分钟级连续生成。
Anthropic 宣布设立“公共利益基金”,将投入公司 5% 的股份,该基金为其全资实体,公司估值每增长 50% 还可追加 2% 股份。资金可能用于向传统非营利组织大额捐赠或直接发放给特定人群,Anthropic 此前已承诺投入 2 亿美元研究 AI 对就业市场的影响。基金的结构与治理细节将在未来几个月公布。
Character.AI 本周申请破产后,迪士尼同意向至少 60 名 Character.AI 员工发出录用通知,覆盖其多数员工,年薪总额约 6000 万美元。
费城女子 Carolyn Marvin 因阻挡 Uber 配送机器人通行、拒绝让路,被警方以扰乱治安罪名逮捕。她向 ABC13 表示,自己是在抗议这类机器人抢走人类配送员的工作,此前已多次站在机器人前方阻拦。配送机器人已在费城市中心街头常见,并引发反弹,今年早些时候就有一台在 Center City 被踢倒。
Anthropic 向外部 AI 监督机构开放了类似内部员工的访问权限,该机构可独立发布审查发现,无需经 Anthropic 批准。