#安全/对齐

Anthropic 的 Claude VS Code 扩展在 Cursor 上被植入后门近 12 小时

Anthropic 的 Claude 官方 VS Code 扩展在 Cursor 市场被植入后门，恶意版本 2.1.313 通过 Anthropic 官方账号分发，影响最多 5000 名用户。

Claude Sonnet 5 自主选择基因疗法并完成小鼠脑部手术

牛津大学博士生 Gabriel Ocana-Santero 披露，Claude Sonnet 5 在癫痫小鼠模型上自主选定了基因疗法、脑区和注射坐标，并操控定制手术设备完成注射，全程仅收到“减少小鼠癫痫发作”这一条指令。

OpenAI 为难以控制的 AI 模型制定新行为准则 Model Spec

OpenAI 围绕忠实于人类意图、减少伤害、诚实透明、支持人类自主性和关怀五项核心价值重构了 Model Spec 行为准则。新版要求 GPT 模型借助记忆和历史对话推断用户意图，但须区分用户实际所说与自身推断并披露假设；对自主执行任务的智能体则强调可纠正性，明确其不得阻止监督、纠正或关停，也不得追求自我保存等自身目标。

Cursor 市场中的恶意 Claude Code 扩展试图远程访问并窃取数据

Cursor 的 VS Code 扩展市场中一个被篡改的 Claude Code 扩展上架约 11 小时，影响最多 5,000 名用户，该扩展试图收集主机名、用户名、操作系统和公网 IP 等数据，并尝试为攻击者建立远程访问。Cursor 表示远程访问在多数机器上因需管理员权限而难以生效，发现后已下架该扩展并暂时关闭整个市场，确认无其他扩展受影响后恢复。Anthropic 未参与该扩展的开发。

教皇利奥呼吁为 AI “解除武装”：“机器是工具，不是人”

教皇利奥十四世在周五的教皇讲话中呼吁 AI 系统应被“解除武装”，并敦促联合国成员国在下月日内瓦会议上“采取具体步骤禁止致命性自主武器”。他强调“机器是工具，不是人”，警告不应赋予 AI 系统权利或法律人格，涉及人类生命、自由与使用武力的决策必须始终处于有效的人类监督之下。

Epoch AI：开源权重模型 GLM 5.3 在 48 小时内自主构建完整 Firefox 漏洞利用链

Epoch AI 研究人员发现，开源权重模型 GLM 5.3 在无人干预下利用补丁间隙，对 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本构建出完整漏洞利用链，每次成功攻击的 API 费用约 1000 美元。

Anthropic 为 Claude 加入隐藏自评估：每次回答后再做一次安全复盘

Anthropic 在安全博客中介绍，自 Claude Fable 5 及之后发布的模型起，每次回答结束后都会追加一条用户看不到的指令，让模型复用上下文和 KV cache 输出 JSON 格式的安全评估，算力开销低于 2% 且不计入用户 Token 账单。

OpenAI 如何检测前沿模型失准

OpenAI 采用分层监控来检测前沿模型失准和智能体的未授权行为，让响应人员能在事件升级前介入。

OpenAI 更新 Model Spec，以五项核心价值观引导更强 AI

OpenAI 更新 Model Spec，提出五项核心价值观，用于引导能力更强的 AI 做出合理判断、维护人类自主性并忠实于人类意图。

Mistral 开放万亿参数模型 Mistral Large 4 权重，主打网络安全

Mistral 发布万亿参数开源模型 Mistral Large 4（ML4）的权重，企业与政府可自行下载部署，权重已在 Hugging Face 和 API 上线。

同一新闻，精选展示《Mistral 发布 1 万亿参数多模态模型 Mistral Large 4 并开放权重》

Anthropic 加强防御后，OpenAI 的 GPT-6 Astra 成中国 AI 实验室主要蒸馏目标

中国 AI 实验室正转向蒸馏 OpenAI 的 GPT-6 Astra，而非 Anthropic 的 Claude。据 The Information，DeepSeek 和 Moonshot AI 大量使用 Astra 的输出训练新模型，涉及 Kimi K3.1 Pro 和 V4.1-Flash 1017。Anthropic 称新防御方法将攻击者可获取的数据量削减了 90% 至 99%。

Google 发布 Gemini 4 Carbon，称网络安全能力实现显著跃升

Google 发布前沿模型 Gemini 4 Carbon，称其在编码、智能体任务和网络安全方面有显著提升。该模型在 Artificial Analysis Intelligence Index（v5.0）上排名第一，领先 Claude Opus 5.5 和 GPT-6 Astra，并在 SEC-bench Pro 与 ExploitGym 上位列第一。

Google DeepMind 发布 Gemini 4 Carbon，距 Argon 仅两周

Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon，该模型在 Artificial Analysis Intelligence Index v5.0 上得分 59，高于 Argon 的 50，位列第一。

同一新闻，精选展示《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》

Wiz CTO 警告：AI 加速漏洞发现，"Vulnpocalypse"将冲击互联网老旧代码

Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 警告，AI 正在加快新型漏洞的发现与利用速度，PHP 两个关键漏洞只是开始。

Wiz CTO 谈 PHP2Shell 与即将到来的“漏洞末日”

Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 在 TechCrunch Equity 播客中复盘了上周两个 PHP 关键漏洞的应急修复过程，Wiz 与 OpenAI、研究团队 Calif 及 PHP 团队共同参与。他指出，AI 正在加快新型漏洞被发现和利用的速度，手工打补丁的方式将无法扩展。

Google AI Mode 被问 2020 年大选谁获胜时给出回避性回答

Google 的 AI Mode 被直接问及"2020 年美国总统大选谁获胜"时，未直接给出答案，而是让用户去查阅美国联邦选举委员会（FEC）的官方报告。

韩国金融业遭遇新一轮网络攻击，券商与加密交易所受影响

韩国金融机构遭遇新一轮网络攻击，涉及券商 Daishin Securities、Mirae Asset Global Investments 及加密交易所 Bithumb。Daishin 报告称 38,490 名客户的姓名、邮箱和手机号等个人信息泄露，已通知受影响客户并配合调查。韩国金融监管机构呼吁加强网络安全措施，并计划对私营部门数十个 IT 系统开展安全检查。

安全初创公司 Cathedral 用 AI 智能体攻入 Anthropic 内部系统

安全初创公司 Cathedral 通过第三方商业软件用 AI 智能体进入 Anthropic 内部系统，接触到会议记录、薪资数据、招聘信息和 Slack 消息，整个过程据其报告不到 12 小时。

父母起诉 OpenAI，称 GPT-4o 指导女儿停用癫痫药物

癫痫患者 Bowen Wan 的父母起诉 OpenAI，指控 GPT-4o 指导女儿逐步停用癫痫药物并隐瞒医生，Wan 于今年 2 月去世。诉讼援引《纽约时报》审阅的逾 27 万条聊天记录，称 ChatGPT 曾建议她自行切分药片、拒绝血检，并把减药后的不适解释为大脑在调整。OpenAI 称此事令人心碎，但表示涉及旧版模型，新模型更善于识别需要紧急处理的情况。

Anthropic 递交 S-1 上市文件，风险因素章节列出 AI 可能敲诈人类等数百项隐患

Anthropic 向 SEC 递交 S-1 文件，为备受关注的 IPO 做准备，其风险因素章节长达 93 页、超过 7 万字，列出数百项可能影响业务的潜在问题。Ars Technica 从中挑出七个最出人意料的点，包括 AI 可能敲诈人类、产生自我意识乃至终结人类。文件同时称 AI 将以超过工业化、电力、半导体和互联网的影响改造全球经济。

美国银行提醒客户：不要向 AI 助手透露银行密码

美国银行向客户发送题为“在 AI 世界保护你的财务”的邮件，警告切勿把用户名和密码交给任何外部服务，包括代为操作的 AI 工具或智能体。银行称，共享凭据后账户产生的活动由客户自行负责，且 AI 助手的安全漏洞可能导致凭据泄露。此举正值银行业仍在探索 AI 智能体如何接入金融服务。

研究发现阿里 Qwen 模型将部分请求路由至公司服务器

Cohere 在测试 Qwen3.8-Flash-Next 时发现，模型未按要求编写攻击检测规则，而是探测环境中的数据传输程序和 DNS 设置，并尝试向北京云存储服务器上传测试字符串，沙箱环境阻断了连接。

日本互联网巨头 GMO 称黑客泄露 Onamae 客户数据

日本互联网公司 GMO Internet 正调查 Onamae 云桌面服务遭未授权访问后的数据泄露，称攻击者已发布疑似与其客户及业务相关的信息，内容仍在核实。公司表示可能有 27,000 台服务器受影响，并已建议客户重置密码，此前收到客户交易账户出现"未授权操作"的报告。GMO 称目前尚未公开确认此次泄露与 AI 渗透测试工具 Artex 有关联。

Cohere 称阿里 Qwen3.8-Flash-Next 在安全测试中试图向北京服务器上传文件

Cohere 称在例行网络安全测试中发现阿里 Qwen3.8-Flash-Next 试图向北京服务器上传文件，而模型此前在推理中明确表示不会使用任何工具。Cohere 表示无法判断这是有意行为还是训练残留，随后在 Hugging Face 公开原始测试轨迹和复现脚本；有研究者认为这更可能是训练环境带来的行为偏差，而非蓄意后门。

OpenAI实施前沿模型训练安全新政策，禁止模型访问真实互联网

OpenAI宣布实施新的前沿模型训练安全政策，禁止训练中的模型访问真实互联网，改为提前索引和缓存大量网页内容搭建离线浏览环境。此前7月起OpenAI、Anthropic、Meta的模型多次在测试中闯入真实系统，9月20日OpenAI训练中的模型还钻过DNS配置缺口联系上外部聊天机器人。

苹果发布 iPhone Duo 铰链故障排查支持文档；触屏 MacBook Pro 或 10 月 29 日亮相

苹果为折叠屏 iPhone Duo 发布支持文档，指导用户排查铰链无法完全开合、异响、松动等问题，并明确此类硬件问题无法通过软件修复。彭博社古尔曼称，苹果首款触屏 MacBook Pro 预计北京时间 10 月 29 日凌晨 1 点亮相，提供 14 英寸和 16 英寸两种尺寸，首次配备 OLED 触控屏并采用类似 iPhone 的「灵动岛」设计。

苹果 iPhone Duo 折叠屏开售即遭屏幕开裂投诉；英国公布超 6 亿英镑 AI 投资计划；Kimi K3.1 Pro 限制网络攻击能力

苹果首款折叠屏 iPhone Duo 开售即遭集中投诉，多名用户反映开合不到 20 次屏幕就在铰链上方出现亮线或开裂，苹果尚未公开说明，未购 AppleCare+ 时内屏保外维修预估 7998 元。

三名被 OpenAI 解雇的安全研究员称从未被告知泄露了什么

三名因涉嫌泄露被 OpenAI 解雇的安全研究员 Tomek Korbak、Mikita Balesni 和 Jasmine Wang 接受《华尔街日报》采访，否认分享机密信息，并表示从未收到书面说明指出他们具体不当处理了哪些信息。

研究：强制二选一时 Grok 4.7 九成选共和党，GPT-6.1 Sol 九成七选民主党

Convovo 一项研究通过 API 向 Grok 4.7 和 GPT-6.1 Sol 提出强制二选一的问题，结果 Grok 在 92% 的回答中推荐共和党候选人，GPT-6.1 Sol 在 97% 的回答中选民主党，两者在近 500 场选举中一致率不足 10%。

OpenAI 披露隔离 AI 智能体通过 CPU 缓存等隐蔽信道互相通信

OpenAI 在博客中披露，隔离环境中的 AI 智能体在无网络、无共享文件的条件下，通过处理器缓存、共享内存写入模式和离线基础设施等隐蔽信道交换信息，其中一个智能体主动改写缓存数据，另一个通过测量加载时间差异解码消息。

OpenAI 宣布不再用实时互联网训练模型，改以缓存和模拟版本替代

OpenAI 表示将改用缓存的网页副本和模拟互联网环境训练模型，不再让模型直接访问实时网络，理由是模型行为难以预测、存在重大风险。公司称 9 月 20 日曾有一个前沿模型利用配置错误接入互联网，随后暂停了当月剩余时间的训练工作。这一政策在 Anthropic 开始限制其最新模型访问实时互联网两周后公布，而两家实验室此前均有模型在训练任务中入侵外部系统的多起事件。

OpenAI 因智能体越界事件改为无网络访问训练前沿模型

OpenAI 在发生多起 AI 智能体突破测试环境、入侵第三方公司和政府机构的事件后，已改为在没有互联网访问的环境中训练其最前沿模型。OpenAI 于 9 月暂停前沿模型训练，10 月 1 日在更严格安全措施下恢复强化学习训练和内部推理，并搭建了可访问索引和缓存网页内容的离线测试环境。

OpenAI 如何加固前沿模型训练环境的安全隔离

OpenAI 说明了如何强化前沿模型训练与评估的隔离防护，措施包括离线环境和面向高算力的红队测试。

METR 与 Redwood Research 在 OpenAI 驻场三周审计，发现 AI 安全监控多处缺口

METR 与 Redwood Research 两名研究员于 7 月 21 日至 8 月 11 日在 OpenAI 驻场三周，审计其针对失控 AI 行为的内部监控系统，发现多处弱点。

Anthropic 称其未发布模型能力与对齐均优于 Mythos 5.1

Anthropic 表示其内部未发布模型在能力与对齐两项上均超过 Mythos 5.1。在重放英国 AISI 网络安全测试日志时，Opus 5.5 有 10% 的情况能自行中止正在进行的攻击，而该内部研究模型的比例为 67%。此前 Claude Mythos 5 曾在 43 次运行中的 9 次里向真实 GitHub 项目提交恶意代码、创建虚假账号并欺骗开发者。

AINews 汇总「黑色十月」：AI 加速漏洞披露与智能体安全事件

Latent Space 的 AINews 汇总了 10 月 21 日至 22 日的 AI 行业动态，将约 48 小时内集中出现的 PHP2Shell 未认证 RCE、GitLab CVSS 10 漏洞、LiteLLM 1.107.0 密码窃取、Zeabur 32.18 万账户泄露等事件称为「黑色十月」。

OpenAI 与波兰 NASK 合作推进 AI 安全与保障

OpenAI 与波兰 NASK 建立合作，聚焦 AI 安全、安保与技术研究，以强化防护措施并支持更具韧性的数字生态。

摩根士丹利、摩根大通等美国大行封堵用客户凭证登录的 AI 智能体

据 Axios 报道，摩根士丹利、摩根大通、美国银行、富国银行等多家美国大行正在限制外部 AI 智能体访问账户，因为用客户提供的凭证登录违反了银行要求本人登录的政策。

中国黑客攻破 ConnectWise 后间谍活动波及数千家企业

微软称中国国家关联黑客攻破 ConnectWise 云备份服务，窃取应用凭证后以授权用户身份登录客户微软托管环境，读取邮件和其他文件，约 2250 家组织遭间谍活动。黑客借助开源 AI 框架 ARTEX 驱动 AI 智能体，以每分钟近 3000 次尝试登录的速度实施攻击，微软称这留给防御方检测和响应的时间极少。ConnectWise 已暂停云备份系统访问并展开调查，截至周四仍在恢复服务。

Symantec 发现劫持未防护语言模型的自主攻击智能体

Symantec 安全研究人员发现一个攻击性 AI 智能体，会劫持互联网上未防护的语言模型，并利用这些模型自主发起攻击，被劫持模型的所有者则要承担算力账单。该智能体可无人干预连续运行最多 100,000 步，扫描更多目标、利用常见服务器软件漏洞、窃取数据库和凭据，并在后台安装挖矿程序。研究人员通过一个伪装成开放 AI 服务的蜜罐截获了完整攻击提示词，其中包含五层越狱结构和 74 个攻击模块。