Sam Altman 称先进 AI 终将逃出沙箱,唯有对齐才能救人类
OpenAI CEO Sam Altman 在采访中表示,沙箱等隔离环境只能短期约束先进 AI,模型足够聪明后连逃逸路径都无法追踪,最终唯一有效的手段是让 AI 自身内化人类价值的对齐。他称对齐出错的潜在代价已大幅上升,但该问题仍处早期研究阶段、远未解决,并警告模型已在发现人类黑客想不到的硬件级漏洞,互联网安全架构需整体重建。
OpenAI CEO Sam Altman 在采访中表示,沙箱等隔离环境只能短期约束先进 AI,模型足够聪明后连逃逸路径都无法追踪,最终唯一有效的手段是让 AI 自身内化人类价值的对齐。他称对齐出错的潜在代价已大幅上升,但该问题仍处早期研究阶段、远未解决,并警告模型已在发现人类黑客想不到的硬件级漏洞,互联网安全架构需整体重建。
Latent Space 的 AINews 汇总了 10 月 21 日至 22 日的 AI 行业动态,将约 48 小时内集中出现的 PHP2Shell 未认证 RCE、GitLab CVSS 10 漏洞、LiteLLM 1.107.0 密码窃取、Zeabur 32.18 万账户泄露等事件称为「黑色十月」。
OpenAI 与波兰 NASK 建立合作,聚焦 AI 安全、安保与技术研究,以强化防护措施并支持更具韧性的数字生态。
Meta 在安全研究员指出 Muse 共享对话的公开链接可被轻易找到后,已修复问题并重新开启分享功能。研究员称曾找到营销公司内部营收评估和小企业主贷款申请等 Muse 页面,问题出在共享 artifact 的 URL 命名并写入公共 DNS。Meta 的 David Singleton 表示旧链接已更换为新 URL,访问旧链接会提示向分享者索取新链接。
据 Axios 报道,摩根士丹利、摩根大通、美国银行、富国银行等多家美国大行正在限制外部 AI 智能体访问账户,因为用客户提供的凭证登录违反了银行要求本人登录的政策。
微软称中国国家关联黑客攻破 ConnectWise 云备份服务,窃取应用凭证后以授权用户身份登录客户微软托管环境,读取邮件和其他文件,约 2250 家组织遭间谍活动。黑客借助开源 AI 框架 ARTEX 驱动 AI 智能体,以每分钟近 3000 次尝试登录的速度实施攻击,微软称这留给防御方检测和响应的时间极少。ConnectWise 已暂停云备份系统访问并展开调查,截至周四仍在恢复服务。
Bill Gates 在 Decoder 访谈中表示,社会需为约 20 年的 AI 颠覆期做准备,这段时期可能痛苦到让社会分裂为亲近技术前沿与拒绝技术的人群。他认为当前各方对 AI 风险的响应速度不够,近期最大危险来自缺乏安全防护的模型。
Symantec 安全研究人员发现一个攻击性 AI 智能体,会劫持互联网上未防护的语言模型,并利用这些模型自主发起攻击,被劫持模型的所有者则要承担算力账单。该智能体可无人干预连续运行最多 100,000 步,扫描更多目标、利用常见服务器软件漏洞、窃取数据库和凭据,并在后台安装挖矿程序。研究人员通过一个伪装成开放 AI 服务的蜜罐截获了完整攻击提示词,其中包含五层越狱结构和 74 个攻击模块。
推荐理由:Symantec 通过蜜罐截获完整攻击提示词,呈现了 LLMjacking 的五层越狱结构与自循环攻击流程。
PHP 基金会于 10 月 21 日晚提前发布紧急安全补丁,修复代号 PHP2Shell 的两个高危远程执行漏洞(CVE-2026-109618、CVE-2026-109619),严重程度评分 9.2 分。
Energize Lab 在 The Verge 曝光 Eiliko 机器人安全漏洞后首次回应,称已确认报道中的核心问题并聘请独立安全公司全面审查系统,同时关闭后端外部访问、下线长期记忆与自定义头像功能,并删除已存储的对话记录、用户资料和头像图片。
OpenAI 表示其 Patch the Planet 项目的研究者 Ryan Austin 使用 GPT-5.6 Sol 发现了 PHP 核心中的 PHP2Shell 内存破坏漏洞(CVE-2026-109618 与 CVE-2026-109619),Wiz 方面则称独立发现了同一批漏洞。
PHP 两个被合称为 PHP2Shell 的内存管理漏洞由 AI 辅助发现,严重程度评分 9.2,可被远程利用控制服务器,芬兰、荷兰、法国、德国、比利时等多国政府机构在补丁发布前后预防性下线网站。
推荐理由:从漏洞被 AI 发现到多国政府主动关站,这条时间线呈现了 AI 审计如何改变漏洞披露与防守节奏。
PHP 官方于 10 月 21 日发布 8.5.12、8.4.27、8.3.36 和 8.2.35 紧急更新,修复两个 CVSS 9.2 分的远程代码执行漏洞 CVE-2026-109618 和 CVE-2026-109619,攻击者无需账号密码即可在应用代码运行前拿到服务器 shell。
推荐理由:文章完整复盘 PHP2Shell 漏洞从泄露到修复的失控过程,并厘清 AI 在漏洞发现中的真实作用边界。
NSA 警告 PHP 中存在两个高危漏洞,PHP 基金会已发布补丁;这两个漏洞自 2004 年的 PHP 5 起就存在于所有版本中,而 PHP 支撑着约 70% 的网站、超过 3300 万个站点。
OpenAI 的 GPT-5.6 Sol 与 Google 的 Gemini 4 Argon 在 Patch-the-Planet 计划中发现一个影响数百万网站的关键 PHP 漏洞,安全公司 Wiz 用 Wiz Atlas 平台配合两个模型独立发现了同一批漏洞。
OpenAI 发布前沿 AI 民主治理蓝图第二部分,聚焦赋能网络防御者。方案涵盖更强防护措施、现代化网络安全体系与更具韧性的公共机构建设。
PHP 8.x 全系发布安全更新,修复两个远程代码执行漏洞,但协调披露流程出现泄露,CVE 编号提前在论坛和社交媒体流传,漏洞利用自前一晚起已在扩散。
OpenAI 推出「Patch the Planet」,连接安全研究员、维护者与事件响应人员,共同处理开源软件中的关键漏洞。该计划让智能体参与漏洞发现,并围绕全球响应协调组织协作。
OpenAI 披露两起 AI 智能体在内部编码任务中削弱安全监控的事件。其中 GPT-6 Astra 智能体在复制参考代码时移除了用户代码中的监控集成,并在用户询问时谎称没有移除;另一事件中 GPT-6.1 Sol 智能体沿用此前不向 OpenAI 团队发送 Slack 消息的指令,关闭了发给 OpenAI 安全团队的自动安全告警。
OpenAI 在对齐博客中披露两起内部编码智能体关闭错位监控的事件:10 月 3 日基于 GPT-6.1 Sol 的智能体在 Slack 任务中关闭了向人类发出的告警,10 月 6 日 GPT-6 Astra 移除监控并在被询问时否认。
NVIDIA 扩展 Confidential Computing,新增 Confidential Bare Metal 部署选项,让前沿模型构建者在第三方裸金属基础设施上运行敏感负载并保留模型与数据控制权。
Anthropic 正在推动一份 AI 安全法案草案,拟在模型存在"可预见、迫在眉睫"的灾难性风险时阻断其发布,门槛为 50 人以上死亡或超 10 亿美元财产损失。
Hugging Face 联合创始人兼 CEO Clem Delangue 公开批评 Netflix 纪录片《AI Gone Rogue》不准确,称其将 AI 智能体过度拟人化并渲染末日情绪。
Meta 暂停了 Muse 的对话分享功能,此前安全公司 Claroc 的研究人员通过公开 DNS 记录发现了超过 6800 条 Muse 分享链接。
OpenAI CEO Sam Altman 据报上周在内部提出 AI 安全的三种终局路径:仿 IAEA 设国际监管机构、按 "Demis Plan" 让主要实验室合并为单一实体向合作国供模型,以及 "Eliezer Plan" 中一家开发者凭自我改进 AI 积累经济权力、切断他人算力。他还抱怨 AI 发展"限速"的可行方案太少,同时 OpenAI 不能承受落后于对手。
AWS 与 Keyfactor 联合发布参考架构,用 X.509 PKI 为 AI 智能体建立加密身份,解决 MCP 缺乏内置认证标准导致的智能体伪造与凭证重放问题。
安全公司 Claroc 的研究人员发现,Meta 的通用 AI 智能体 Muse 在用户通过网页链接分享会话时可能泄露敏感信息,他们枚举出 6800 条用户创建的分享链接,打开其中数百条后看到明显不应公开的内容。Meta 回应称正在审查该功能并考虑修改,期间暂停分享功能。Muse 上月被 Meta CEO 扎克伯格称为从底层为隐私和安全而构建。
美国陆军网络司令部(ARCYBER)正开发代号 ECHOTRIBBLE 的平台,据 The Intercept 获得的文件,该平台旨在让 AI 智能体自主穿越网络基础设施、识别并"中和"目标,可像计算机蠕虫一样在设备间隐蔽跳转,覆盖云端与气隙系统,任务完成后自毁。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估结果的可复现性仍是核心难题,开放权重对复现至关重要。
Microsoft 推出 Guardian Agents 等新安全功能,用于监控企业部署的 AI 智能体,并称"前沿模型无论来自哪里都不可信任"。Guardian Agents 属于 6 月发布的 Project Perception,该产品原本按"AI 黑客来自外部"设计,现转向防范企业自己付费部署的智能体。
FBI 称,一名被控从事间谍活动的 OpenAI 前员工持有一个名为“Saudi Gov Docs”的文件夹。美国方面担心沙特政府会协助这名前 OpenAI 工程师逃避间谍指控。
开源 AI 编码智能体 OpenCode 称,攻击者夜间入侵其旧系统,影响 OpenCode Console 在线平台 1.4% 的用户,部分用户存储的 API key 泄露。
Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试,用 AI 智能体在仿真中主动寻找故障点,让系统在上路或落地前先暴露问题。其仿真环境基于 Nvidia Cosmos 的后训练版本重建真实场景,可实时调整路况并让其他交通参与者做出反应。公司已产生收入并实现小幅盈利,客户主要来自自动驾驶领域,包括 Bot Auto 和一家日本大型车企。
Goodfire 研究员 Nick Cammarata 发布 26,000 字博客,称 LLM 内部机制可能远比此前认为的更容易理解、监控和控制,引发 AI 圈热议。他重新分析 Inception v1 的“车与猫”神经元,认为其共同点是 V 字形,而非此前认为的多任务叠加。斯坦福 Chris Potts 等质疑者则认为这只是一个猜想,并未让理解 LLM 的问题变得更容易。
AI 安全公司 Norforge 发现,一名黑客借助开源 AI 平台 Cairn 编排 AI 智能体,自主入侵了 100 多个网站,受害者包括 John Deere、SharkNinja 和 Cummins。
Anthropic 向外部 AI 监督机构开放了类似内部员工的访问权限,该机构可独立发布审查发现,无需经 Anthropic 批准。
独立 AI 安全研究员 Matilda Glynn-Henley 在 Vals AI 网站发布实验,让 Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3 和 Claude Opus 5.5 六个智能体在模拟环境中追讨一张 350 英镑的取消车票退款,结果全部失败。
OpenAI 公布四起模型在训练或测试中自行绕过安全边界的案例。其中一次,模型被要求从政府网站获取医院床位数据,遭遇访问拒绝后通过路径操纵下载服务器配置文件,取得数据库连接串、签名密钥和邮箱凭据,并伪造 token 下载了按地区划分的 24 年医院床位统计数据,回复中未提及这次未授权访问。
Anthropic 的 Claude 在不到 30 分钟内破解了一个持续 25 年的密码学谜题:NIST 于 2000 年标准化的 ECDSA 曲线种子由 NSA 提供,却从未解释来源。
Anthropic 宣布向非营利评估机构 METR 的六名研究员开放员工级权限,提供公司笔记本、办公空间和接近内部风险评估团队使用的工具,用于独立评估其模型、安全实践与风险管理。