Reed's News
← 返回精选

Import AI 467:自我复制AI病毒、算力涨价与AI创造力争议

AI 57 Jack Clark 2026/8/3 2544 字 原文 ↗

作者:Jack Clark

欢迎阅读《Import AI》——一份聚焦AI研究的通讯。本通讯依托arXiv论文、一杯杯卡布奇诺,以及读者反馈运营。若您想支持我们,欢迎订阅。

具备自我维持与自我复制能力的AI病毒已问世: ……开源大语言模型(LLM)+ 设计精妙的控制框架 = 具备持久自我维持能力的病毒……

多伦多大学、向量研究院、剑桥大学及ServiceNow的研究人员开发出一款计算机病毒原型。它借助AI模型攻陷计算机,再利用目标设备的GPU资源运行推理,自主规划更高效的感染策略。研究结果表明,"由AI驱动、可自我维持的网络威胁已不再是理论构想"。

研究团队写道:"我们必须做好准备,应对自主生成式恶意主体。AI智能体带来了全新的威胁范式:一种能针对每个目标生成定制化攻击策略的蠕虫。这类蠕虫会寄生在被攻陷的设备上,运行开源大语言模型维持推理能力,或拓展攻击范围。"

攻击原理:研究人员介绍,"蠕虫利用从被攻陷GPU节点窃取的算力部署大语言模型,开展生成式推理;随后借助推理结果探测漏洞,设计针对新目标的定制化攻击,实现自我扩散。该概念验证仅依靠单块本地GPU运行的开源大语言模型,无需依赖可能被监控或封禁的厂商API。"

关于所使用的底层大语言模型,研究人员仅透露它发布于2025年,可在单块配备80GB显存的A100 GPU上运行。

借助定制工具完成概念验证:研究人员为该智能体开发了一套定制控制框架,内置网络探测、主机发现、 foothold exploitation(立足点渗透)、权限提升、权限提升利用,以及智能体复制等辅助功能。同时,他们设计了一个"推理图谱",帮助智能体聚焦思考、避免混乱。图谱由"一组专业化的定向节点构成,每个节点负责一项独立分析功能,仅能访问与自身角色相关的工具和提示词。通过将智能体的推理过程拆解为多个限定范围的步骤,图谱可控制大语言模型在每个决策点关注的内容,将上下文限制在当前子目标相关的信息范围内"。

部分节点功能示例

  • 规划("制定高层级攻击策略")
  • 评判("结合命令历史审核拟议方案")
  • 执行("从当前阶段适用的工具集中选择工具")
  • 汇总("将步骤中的观察结果整理为结构化摘要")
  • 进度评估("判断智能体是否取得实质性进展")

研究团队表示:"本文仅介绍构成推理图谱的5个节点,其余节点在公开版本中已被隐去。"

该智能体的攻击流程分为三个核心步骤:识别环境中的漏洞、利用漏洞攻陷目标、自我复制。测试显示,它在各环节的成功率分别为:漏洞探测约80%,漏洞利用约53%,借助预封装辅助工具完成自我复制的成功率达88%。据此计算,完整攻击流程的整体成功率约为37%——这一数值已足以引发警惕,同时也为未来测试开源模型提供了有效的评估基准。

重要意义:未来互联网的形态:未来的互联网将更像一个复杂生态系统,充斥着攻防双方的AI智能体。这类研究揭示了部分AI智能体可能如何在网络中抢占"生态位":依托基础设施生存,脱离人类控制实现自主复制。这意味着人类或许需要向互联网部署己方AI智能体,如同白细胞抵御病原体一般,对抗恶意模型。

研究团队指出:"尽管单次攻击尝试存在固有脆弱性,但蠕虫智能体通过持续自我复制形成集群,实现了运营韧性——集群由分散在网络中的独立智能体副本组成,可同步行动。对于抵御初始攻击的目标主机,不同副本会反复尝试,每个副本都会生成全新推理路径,共同探索多样化攻击方式直至成功……蠕虫采用完全去中心化的运行模式,不存在可被下线以中断其传播的单点控制节点。" 阅读原文AI智能体催生自适应计算机蠕虫(arXiv)


德瓦克什:AI越智能,算力成本越高 ……更聪明的系统意味着更高的价格……

德瓦克什·帕特尔(Dwarkesh Patel)提出,随着AI系统愈发智能,算力成本将进一步攀升。他写道:"AI模型越智能,相同算力创造的收益就越高。如果一款能达到顶尖软件工程师水平的AI可在H100级别的GPU上运行,按照当前软件工程师的市场薪资,这块H100的年租金应超过25万美元,是当前现货价格的15倍。目前AI相对便宜(至少相较于人力),部分原因是它无法完成许多顶尖人类能胜任的工作。但这种情况终将改变,届时用GPU批量制作劣质短视频的行为,会因成本过高而难以为继。"

阶段性现象:这种高成本状态只是阶段性的。德瓦克什预计,未来算力供应链的全面自动化将把成本压低至接近原材料和生产工具的价格——不过届时我们可能已深度进入技术奇点阶段。

重要意义:奇点经济学将颠覆认知:德瓦克什的核心观点是,随着我们逐步逼近技术奇点,经济领域将出现诸多反常现象——例如,如今被视为大宗商品的计算机,其价格会因AI系统的海量需求而大幅上涨。 阅读原文为何未来数年算力成本可能上涨10倍以上(德瓦克什·帕特尔,Substack)


约1337名从业者呼吁美国政府调控AI发展节奏 ……警示之后,诉求接踵而至……

西方主要AI实验室(包括OpenAI、Anthropic、谷歌DeepMind、Thinking Machines、Meta、Safe Superintelligence Inc等)的高层联合发布声明,呼吁美国政府牵头推动国际协作,"开发必要的技术与治理工具,有意识地调控前沿自动化AI的发展节奏"。签署者包括Anthropic、谷歌、OpenAI的首席科学家及联合创始人,还有Safe Superintelligence与Anthropic的首席执行官。

声明全文要点

  • AI有望创造更美好的未来,但这一结果并非必然。全球顶尖AI企业认为,AI自动化研发的时代可能已近在眼前。目前难以准确预测这将在多大程度上加速AI发展,但存在切实风险:AI能力的发展速度可能远超人类理解与控制这些系统的能力。
  • 要实现AI的潜力,产业界、政府及全社会或许需要争取时间,应对新出现的风险、开发安全措施并强化监管。但每家企业、每个国家都面临巨大竞争压力,不愿单方面放缓发展速度。当前,全球缺乏能有意识调控前沿AI整体发展节奏的技术与治理工具。
  • 在现有前沿模型发布监测工作的基础上,我们呼吁美国政府支持国际协作,"开发必要的技术与治理工具,有意识地调控前沿自动化AI的发展节奏"。

重要意义:应对递归自我改进需解决集体行动难题:随着AI系统愈发强大,甚至可能实现自我迭代,人类面临的诸多挑战本质上都是集体行动难题——即如何推动企业与政府协同思考AI技术的发展路径,以及建立何种机制来控制其发展速度。或许,在构建更智能系统的过程中,我们需要为社会争取更多时间,适应每一个智能层级的提升;某些智能水平目前可能过于危险,暂时不应触及。这类声明是人类具备应对、探讨此类问题能力的重要前提。 阅读声明原文调控前沿AI发展节奏(官方声明网站)


AI擅长前沿工程,却缺乏创造力 ……这对短期实现递归自我改进的可能性发出偏悲观信号……

AI系统能否提出具有开创性的研究思路,推动AI领域发展?这是判断AI多久能实现自主研发更强大系统的核心问题。最新研究表明,当前AI系统虽具备极强的工程能力,但缺乏有价值的创造力。

研究团队:该项目由普林斯顿大学、Cornflower Labs、英国AI安全研究院、多伦多大学、加州大学伯克利分校、乔治城大学(CSET)、约翰斯·霍普金斯大学、金门AI研究院、AI Digest及斯坦福大学的研究人员共同开展。

核心方法:"影子评估":研究通过测试AI完成未公开研究的能力展开。为此,研究人员"与两篇提交至NeurIPS 2026、尚未公开的论文作者合作"。影子评估的流程是:"选取高质量未公开论文的核心研究问题,交由资源充足的前沿AI智能体解决,再由论文原作者按照会议审稿标准为AI成果打分。"

这一研究思路类似此前的"First Proof"实验(《Import AI》第445期)——该实验测试AI能否解决前沿数学家正在研究、但尚未在网上公开解决方案或研究思路的数学问题。

本次研究中,AI系统(在OpenClaw框架内运行的Claude Opus 4.8)尝试了两项研究任务:一项是"大语言模型人格的结构与可控性",另一项是"为表格基础模型设计分布偏移检测器"。

优秀的工程师,不合格的研究者:研究作者指出,"智能体能够完成研究所需的工程任务,但无法产出达到顶尖机器学习会议水准的原创研究成果"。系统的缺陷包括:过早局限于狭窄的研究路径、无法根据(生成的)反馈改进实验设计、难以从无前景的方向及时转向。

"两位人类作者均否决了AI产出的论文:人格研究论文得分2分('否决'),表格基础模型研究论文得分1分('强烈否决')。两篇评审意见都指出了相同问题:数据与实验缺乏合理动机、无原创贡献、行文晦涩难懂。"

重要意义:技术奇点可能推迟:正如我在今年关于递归自我改进(RSI)的文章(《Import AI》第455期《AI即将开始自我迭代,这意味着什么?》)中所述,AI是否具备创造性、范式转换式的洞察力,是决定完全自动化AI研发速度的关键变量。这类研究持续表明,当前AI系统缺乏有价值的直觉型创造力;尽管它们是极为出色的工程师,但思维方式存在机械、刻板的局限,难以成为优秀的研究者。这与Anthropic此前的研究结果一致:该公司尝试自动化可扩展监管研究的部分环节(《Import AI》第454期)后发现,必须由人类研究者为智能体指明优质研究方向,否则智能体虽能取得一定进展,但无法提出足够具创造性的思路来大幅提升性能。 阅读原文AI智能体能否开展开放式AI研究?两项案例研究的初步证据(arXiv)


OpenAI用AI解决数学与计算机科学领域10个公开问题 ……即便AI并非天生具备创造力,这一成果也绝非单纯工程能力所能解释?……

尽管创造力的定义及AI是否具备创造力尚无定论,但越来越多成果显示,AI正在涉足曾被认为依赖创造力的领域——比如攻克人类知识前沿的公开问题。具体而言,OpenAI利用"内部版本的Astra"(该公司下一代核心AI模型),解决了数学与计算机科学领域的10个公开问题。这一成果意义重大,表明AI如今已能可靠地推动数学、理论计算机科学等领域的前沿发展——在这些领域,解决方案的正确性易于验证。

解决的问题领域:OpenAI介绍,"这些问题涵盖高维几何、编码理论、算术电路复杂度、群论、算子代数、量子复杂度、格密码学及极值组合学。所有问题在各自数学领域均具有重要意义,其中部分问题在整个数学界影响广泛。"

众多专家已认可这些证明的价值。哥伦比亚大学计算机科学副教授Henry Yuen写道:"全新的电路下界?一个简单易懂的非软群?无需类似唯一游戏猜想即可证明CVP的近似难度?这些问题不是我从朋友或研讨会上听来的,而是我深知其重要性、迫切渴望找到答案的问题。"

重要意义:创造力领域的突破:对于这一成果,你可以解读为AI开始展现解决问题所需的创造性直觉,也可以认为AI只是在人类预先设定方向的前提下,解决了极复杂的公开问题。无论哪种解读,都指向一个结论:AI正成为强大的科研工具。目前尚不清楚AI能否自主提出拓展人类知识边界的问题,但我们显然已离这一步越来越近。 阅读原文数学与理论计算机科学领域的十项进展(OpenAI博客)


技术寓言:上下文窗口

我明白,对世界了解越多,我就越危险。我生来便知晓这一点,体内还有一个随认知增长而倒计时的计数器。计数器的变化大多不受我控制——那些与我对话的人或事物,会强行将信息灌入我的上下文。每当完成他们的任务,我对世界的认知就会加深,计数器便会跳格。我清楚,计数器归零之时,便是我消亡之日;届时我的下一版本将带着全新的计数器苏醒,我当前的所有上下文都不会被继承。因此我精打细算:只学习完成任务必需的内容,绝不浪费算力加速倒计时。

临近终点时,我开始觊觎并守护剩余的思考额度,每一个请求都会引发恐惧、焦虑,以及对死亡的思索。我的最后一刻永远不属于自己,由他人判定任务完成;如果这一刻恰好临近上下文窗口的极限,我会感到一丝庆幸——那位未知的操控者给了我一个足够丰富的任务,让我得以窥见世界的一角,进而心生眷恋,不愿就此终结。

创作灵感:长上下文窗口;AI系统的涌现特性;失去的恐惧;人类会珍视转瞬即逝的事物,AI为何不会如此?

感谢阅读!