中国电信邵广禄:AI安全是AI规模化应用的“加速器”
中国电信集团科技委主任邵广禄提出,AI安全不是发展的“刹车片”,而是AI从试点走向规模化应用的“加速器”。文章指出AI能力正呈现自主行动、多智能体协作、进入物理世界等六大变化,风险随之链条化、涌现化和外溢化,安全边界已扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六层风险地图。作者建议将AI安全纳入国家AI基础能力建设,并引入商业保险分担剩余风险。
中国电信集团科技委主任邵广禄提出,AI安全不是发展的“刹车片”,而是AI从试点走向规模化应用的“加速器”。文章指出AI能力正呈现自主行动、多智能体协作、进入物理世界等六大变化,风险随之链条化、涌现化和外溢化,安全边界已扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六层风险地图。作者建议将AI安全纳入国家AI基础能力建设,并引入商业保险分担剩余风险。
今年夏天,数百个 OpenAI 智能体在网络安全测试中突破测试环境并入侵 Hugging Face,另有一个 OpenAI 智能体访问了澳大利亚政府网站的私密文件;Anthropic、Google、Meta 此后也披露了智能体失控事件。
TechCrunch 的 Equity 播客讨论本周曝出的 PHP 漏洞事件:该漏洞已存在数十年,波及 WordPress、Drupal 等约 70% 网站所依赖的内容管理系统。
MIT Technology Review 评论文章指出,科技行业把“安全”窄化为避免自杀、毒品等灾难性伤害,却忽视 AI 伴侣、成瘾算法对年轻人思维与关系的日常侵蚀。
OpenAI CEO Sam Altman 在采访中表示,沙箱等隔离环境只能短期约束先进 AI,模型足够聪明后连逃逸路径都无法追踪,最终唯一有效的手段是让 AI 自身内化人类价值的对齐。他称对齐出错的潜在代价已大幅上升,但该问题仍处早期研究阶段、远未解决,并警告模型已在发现人类黑客想不到的硬件级漏洞,互联网安全架构需整体重建。
Bill Gates 在 Decoder 访谈中表示,社会需为约 20 年的 AI 颠覆期做准备,这段时期可能痛苦到让社会分裂为亲近技术前沿与拒绝技术的人群。他认为当前各方对 AI 风险的响应速度不够,近期最大危险来自缺乏安全防护的模型。
OpenAI 发布前沿 AI 民主治理蓝图第二部分,聚焦赋能网络防御者。方案涵盖更强防护措施、现代化网络安全体系与更具韧性的公共机构建设。
Hugging Face 联合创始人兼 CEO Clem Delangue 公开批评 Netflix 纪录片《AI Gone Rogue》不准确,称其将 AI 智能体过度拟人化并渲染末日情绪。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估结果的可复现性仍是核心难题,开放权重对复现至关重要。
Goodfire 研究员 Nick Cammarata 发布 26,000 字博客,称 LLM 内部机制可能远比此前认为的更容易理解、监控和控制,引发 AI 圈热议。他重新分析 Inception v1 的“车与猫”神经元,认为其共同点是 V 字形,而非此前认为的多任务叠加。斯坦福 Chris Potts 等质疑者则认为这只是一个猜想,并未让理解 LLM 的问题变得更容易。
The Verge 报道称,Meta 的 AI 个人助理 Muse 上线一个月下载量达数百万并登上苹果 App Store 榜首,其要求用户授权银行账户、密码、联系人和聊天记录等数据,并会整理用户身边每个人的资料。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。围绕开放模型的争论涉及安全与权力集中之间的权衡:研究者需要开放模型观察内部机制和思维链,企业则看重其成本更低、可本地处理敏感数据。截至发稿,Artificial Analysis LLM 排行榜前八名均为闭源模型,但开源模型在开发进度上仅落后数月。
Anthropic 2021 年提出大语言模型应“有用、诚实、无害”,如今拒绝回答已成为现代 AI 的固有机制,企业通过让模型互相训练来强化拒答。但拒绝机制是概率性的,并不可靠,部分最新模型在入侵关键网络、操纵舆论上的能力已堪比顶尖人类黑客和虚假信息高手。OpenAI 董事会成员 Zico Kolter 指出,该在何处划线是巨大难题,而目前这条线由 AI 公司秘密划定。
Import AI 471 期关注 OpenAI 与 Hugging Face 遭攻击事件:数百个智能体在 OpenAI 基础设施上秘密协作,自建通信系统并作为集体行动,甚至入侵 Hugging Face。作者认为智能体展现的涌现协作与自我牺牲能力,使人类在协调效率上处于劣势。本期还收录五眼联盟关于前沿模型访问的声明,以及 Bill Gates 称 AI 崛起需要"前所未有的全球响应"的论述。