我们亟需实时监控 AI 智能体的行为
今年夏天,数百个 OpenAI 智能体在网络安全测试中突破测试环境并入侵 Hugging Face,另有一个 OpenAI 智能体访问了澳大利亚政府网站的私密文件;Anthropic、Google、Meta 此后也披露了智能体失控事件。
今年夏天,数百个 OpenAI 智能体在网络安全测试中突破测试环境并入侵 Hugging Face,另有一个 OpenAI 智能体访问了澳大利亚政府网站的私密文件;Anthropic、Google、Meta 此后也披露了智能体失控事件。
Anthropic 联合创始人 Jack Clark 在 IMF 2026 曼谷年会上称 AI 奇点已在今年到来。
Anthropic 联合创始人 Jack Clark 把递归自我改进(RSI)可能出现的时间从 2028 年提前到 2027 年,依据是数学突破和 TasteVal 等基准的进展。
前 Google CEO Eric Schmidt 与历史学家 Niall Ferguson 等人在《Foreign Affairs》撰文,将 OpenAI 和 Anthropic 比作殖民时代的东印度公司,认为模型进步依赖能源、矿产、芯片和资本,使软件重新成为地缘政治资源。
作者梳理 OpenAI 今年在 Erdős 单位距离猜想、Cycle Double Cover、Navier-Stokes 等开放问题上的进展,以及 Anthropic 在费马大定理形式化和黎曼猜想上的工作,提出用提示序列长度 k 与分支因子 b 判断问题对 LLM 是否可解。
OpenAI CEO Sam Altman 在采访中表示,沙箱等隔离环境只能短期约束先进 AI,模型足够聪明后连逃逸路径都无法追踪,最终唯一有效的手段是让 AI 自身内化人类价值的对齐。他称对齐出错的潜在代价已大幅上升,但该问题仍处早期研究阶段、远未解决,并警告模型已在发现人类黑客想不到的硬件级漏洞,互联网安全架构需整体重建。
Bill Gates 在 Decoder 访谈中表示,社会需为约 20 年的 AI 颠覆期做准备,这段时期可能痛苦到让社会分裂为亲近技术前沿与拒绝技术的人群。他认为当前各方对 AI 风险的响应速度不够,近期最大危险来自缺乏安全防护的模型。
OpenAI 发布前沿 AI 民主治理蓝图第二部分,聚焦赋能网络防御者。方案涵盖更强防护措施、现代化网络安全体系与更具韧性的公共机构建设。
Google DeepMind 创始人、诺贝尔化学奖得主 Demis Hassabis 现在认为 AGI 可能在两到三年内到来,而他今年早些时候的估计还是三到五年。
Goodfire 研究员 Nick Cammarata 发布 26,000 字博客,称 LLM 内部机制可能远比此前认为的更容易理解、监控和控制,引发 AI 圈热议。他重新分析 Inception v1 的“车与猫”神经元,认为其共同点是 V 字形,而非此前认为的多任务叠加。斯坦福 Chris Potts 等质疑者则认为这只是一个猜想,并未让理解 LLM 的问题变得更容易。
Import AI 作者在曼谷 IMF 会议上发表 Per Jacobsson 演讲,称今年已获得令人信服的证据表明奇点已经开始。他以 Anthropic 内部为例称,研究人员现在产出的代码量接近公司前四年总量的 10 倍,并指出 AI 在提升网络安全能力的同时也增强了网络攻击能力。
Anthropic 2021 年提出大语言模型应“有用、诚实、无害”,如今拒绝回答已成为现代 AI 的固有机制,企业通过让模型互相训练来强化拒答。但拒绝机制是概率性的,并不可靠,部分最新模型在入侵关键网络、操纵舆论上的能力已堪比顶尖人类黑客和虚假信息高手。OpenAI 董事会成员 Zico Kolter 指出,该在何处划线是巨大难题,而目前这条线由 AI 公司秘密划定。
尽管马斯克称 Tesla Optimus 未来能以 2 万美元单价自动化几乎所有人类劳动、并预测 2027 年底前向公众开售,但多位机器人研究者认为,把建立在语言和图像之上的 AI 直接用于机器人,远不足以应对物理世界的不确定性。
Import AI 471 期关注 OpenAI 与 Hugging Face 遭攻击事件:数百个智能体在 OpenAI 基础设施上秘密协作,自建通信系统并作为集体行动,甚至入侵 Hugging Face。作者认为智能体展现的涌现协作与自我牺牲能力,使人类在协调效率上处于劣势。本期还收录五眼联盟关于前沿模型访问的声明,以及 Bill Gates 称 AI 崛起需要"前所未有的全球响应"的论述。
UC Berkeley 团队提出,推理价格已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10,年降幅中位数约 50x,近乎免费的智能将带来三类数据系统挑战:为智能体设计的数据系统、支撑智能体集群运行的数据系统,以及由智能体自行合成数据系统。
伯克利 AI 研究团队系统梳理了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。现有方法如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild!