Reed's News
← 返回精选

Atlas:面向空间智能的世界模型

AI 59 johnsutor 2026/9/1 2492 字 原文 ↗

Atlas:面向空间智能的世界模型

世界模型能够生成、重建并模拟任意可能的世界。它理解世界的外观、运行规律与演化逻辑,既可为创意工作者渲染想象中的世界,也能高保真模拟现实世界,还能协助机器人规划行动路径。在World Labs,我们正构建这类通用世界模型,以探索空间智能的无限可能。

今天,我们正式推出下一代世界模型Atlas。这是一款从头开始预训练的全能模型,可原生处理文本、图像、视频与3D数据。它是一个多模态自回归扩散Transformer:所有输入数据会整合为共享的空间上下文,Atlas依托这一上下文生成后续内容,既与已观测到的3D信息保持一致,又能合理想象未观测区域的样貌。Atlas具备出色的扩展性:其性能随训练算力提升而增强,我们预计这一趋势将在持续扩容中延续。

Atlas可完成覆盖世界生成、重建与模拟的各类任务:

  • 相机可控生成
  • 空间重建
  • 时空模拟:适用于机器人的实景转虚拟工作流
  • 图像生成

Atlas将为Marble及World Labs旗下其他产品的未来版本提供核心支持。

相机可控生成

Atlas可接收一张或多张参考图,生成任意指定相机位置与角度的新视角画面。生成的视图既与输入图像的内容、几何结构精准匹配,又能平滑延伸,合理想象输入中未显示的场景区域。

Atlas能适配各类场景类型、视觉风格与相机运动轨迹,仅需1至6张输入图,结合人工设计的相机路径即可生成视频。

不同于依赖粗略文本指令的相机控制方式,Atlas将精准的相机几何参数作为原生输入,让你能精准规划每一个镜头、控制每一段运动轨迹。

在示例中,Atlas仅靠单张输入图就能生成完整场景:它结合输入图内容与自身丰富的世界知识,想象新视角下的场景样貌——比如生成机器人的背面,或是推测泳池旁应有一片草坪。

只需单张图像,Atlas即可生成任意视角的画面,拖动即可切换视图。

与大语言模型(LLM)类似,Atlas先将输入编码为上下文,再基于上下文生成输出。但Atlas的独特之处在于:每张图像都锚定在3D空间中的特定位置,由此形成空间上下文。

对空间上下文的管理,解锁了全新的创意控制方式。例如,你可将两张无关的参考图放入上下文并在3D空间中定位,Atlas会生成一个能平滑衔接两者的完整世界。这些示例展现了模型的世界知识与创造力:它能为原本无关的图像对,想象出门廊、走廊、壁龛等过渡空间。

选择左右两张图构建空间上下文,Atlas会自动将它们衔接成完整场景。

通过结合相机运动控制与空间上下文管理,Atlas可生成受精准控制的长视频,让你全权设计场景与相机角度,真正成为创作的主导者——你是在执导场景,而非依赖随机概率。

在下方示例中,我们仅用少量参考图,就生成了一段1分钟、分辨率达1440p的视频。我们手动设计了穿越场景的相机路径,Atlas则生成了连贯的完整世界。页面中其余视频均经过压缩,以优化加载性能。

空间重建

Atlas可通过一张或多张输入图重建现实空间,无需特殊采集设备或数百张密集视图,就能忠实还原物体与场景。我们认为,Atlas在解决稀疏输入下的新视角合成问题上迈出了关键一步——这是3D计算机视觉领域存在数十年的核心难题。

Atlas可接收任意数量的场景输入视图。对于输入中未显示的区域,它会调用丰富的世界知识,合理补全空缺内容。

不过有时你可能不需要想象,而是希望精准重建现实场景。此时提供更多输入图即可:输入越多,模型的“想象空间”就越小。通常仅需2至3张图,Atlas就能输出忠实的重建结果,性能超过专为3D重建训练的顶尖模型。同时,它也支持整合百张以上的输入图,实现对现实环境的高精度还原。

在第一个示例中,Atlas仅靠一张地面视角照片,就生成了场景的鸟瞰图:输入图中的花园被精准还原,但其余场景由模型想象而来;当加入第二张爱丁堡花园旁小屋的实景图后,模型输出同时包含花园与小屋,但左侧房屋仍为想象内容;再加入第三张主屋的输入图后,整个场景就得到了完整精准的还原。

在第二个示例中,我们逐步重建斯坦福大学主广场:从草坪入口开始,最终还原纪念教堂外墙上的彩色马赛克图案。尽管Atlas仅接收了2至25张地面视角输入图,它却能生成从高空鸟瞰校园的飞行路径画面。

Atlas可为同一场景生成多条不同的运动轨迹,呈现同一输入图的全新视角。无论如何修改相机路径,场景内容始终保持一致。

下方示例显示,仅需少量输入图,Atlas就能为同一场景生成多条相机路径。不同路径可通过调整速度、长度或复杂度,突出场景的不同区域,营造各异的氛围。

Atlas还可原生处理2D图像帧与3D深度图,因此不仅能输出2D图像与视频(满足部分应用需求),还能生成点云或3D高斯泼溅(Gaussian splats)等3D格式,适配机器人、游戏、设计、视觉特效等领域的工作流。

从单张图像出发,Atlas生成新视角与3D几何结构,再转换为3D高斯泼溅格式。

基于单张输入图,Atlas通过同步生成新视角并估算几何结构,构建完整的3D世界;基于现实空间的视频,它会预测每一帧的深度信息并整合为3D重建结果。无论哪种方式,Atlas都能补全相机从未拍摄到的区域。

Atlas可从输入视频重建3D点云。

点云仅能估算场景几何结构,而3D高斯泼溅能让其真正可用。Atlas会填补剩余空缺,将点云转换为完整的泼溅场景,可在设备端实现高分辨率、高帧率渲染。这一格式与Marble所用格式一致,使Atlas能与我们的其他产品自然集成。

时空模拟

Atlas可作为世界模拟器,既理解世界的空间结构,也掌握其随时间的演化规律。结合空间与时间能力,它为视觉特效、机器人等领域带来了全新应用场景。

Atlas能将普通摄像头转变为“子弹时间”多视角采集工作室。仅需3个摄像头的拍摄素材,它就能定格时间并重新构图,让你从不可能的视角观察事件。

无需昂贵的专业采集工作室,即可为现实视频重新设计新视角画面。

值得一提的是,这些镜头无需专业摄影师或特殊设备,仅由几位工程师和研究员用普通手机搭配三脚架与固定夹拍摄而成(整套设备可放入背包)。Atlas从3至5个摄像头视图中重建场景后,你就能随意调整镜头构图。

幕后花絮:上述片段仅用几部手机和运动相机拍摄完成。

Atlas为导航与操作类任务的实景转虚拟技术拓展了新的规模化路径。

如前文所述,Atlas可通过少量图像精准重建3D空间。但对机器人而言,重建只是第一步:当模拟机器人在空间中移动时,Atlas还能生成其搭载的传感器沿途应观测到的RGB与深度数据,实现世界模型与机器人视角的统一。

在示例中,我们用手机视频采集了两个大型环境,各取24帧用于重建——传统扫描这类空间需复杂且昂贵的设备。随后我们模拟不同机器人沿不同路径导航,并用Atlas生成机器人搭载摄像头视角下的画面。

Atlas可重建空间并协助模拟机器人导航。

机器人操作任务更进一步:通过几段随意拍摄的视频,Atlas就能协助构建模拟环境,同时还原物体的运动与交互方式。任务模拟完成后,你可轻松调整变量:更换物体、改变位置、调整机器人动作、修改光照与背景,从而规模化生成多样化的机器人训练数据与测试环境。

Atlas仅需少量现实视频,即可实现实景转虚拟,还原刚体、铰接体与变形体的物理交互,同时支持可控变量调整。

图像生成

Atlas的核心定位是世界模型,每一张图像都是通往某个可能世界的窗口。尽管图像生成并非其核心功能,它仍具备出色的图像生成能力:可遵循复杂提示词、渲染文本内容,并生成丰富多样的视觉风格。

Atlas还能基于文本或图像提示生成360°全景图,覆盖各类场景类型与视觉风格。

技术架构

Atlas是一款全能模型,采用统一架构处理多类任务与多模态输入输出数据,将空间控制置于核心位置。为此,我们摒弃了大语言模型与视频模型常用的标准架构,设计了全新的基础架构,为未来世界模型奠定基础。

Atlas是一个多模态自回归扩散Transformer,基于多模态序列运行,逐个生成序列中的新元素。这些架构特性共同支撑我们的目标,催生了基于空间上下文的全新生成范式:

  • 多模态:Atlas可原生处理多种数据类型,目前支持文本、图像、相机位姿与3D深度图(视频以图像序列形式表示)。每张图像与深度图都以明确的相机位姿为条件,使空间控制成为架构的核心组件。
  • 自回归:Atlas基于元素序列运行,每个元素为上述多模态数据类型之一。输出内容逐个生成,且以前序序列内容为条件。这一灵活设计可自然适配各类任务:每种任务对应一种序列形式,输入之后紧跟输出。
  • 扩散:Atlas是一个整流流模型,通过逐步去噪生成输出。扩散模型擅长处理图像、视频等高维连续数据,可通过调整推理时的去噪步数,灵活平衡生成速度与质量。
  • Transformer:Transformer架构以大型矩阵乘法操作为核心,适配现代硬件,是世界建模的可靠基础。

Atlas融合了现代大语言模型与视频模型的技术思路,可受益于两类模型在架构、算法与系统层面的技术进展:

  • 与大语言模型类似,它是自回归Transformer,可利用KV缓存、缓存感知路由、解耦式部署等用于优化大语言模型服务与加速的技术。
  • 与现代图像/视频模型类似,它是 latent diffusion模型,可运用扩散蒸馏、无分类器引导、偏移噪声调度及VAE设计优化等算法。

性能评估

Atlas是一款面向世界建模的全能模型,可处理多类任务,因此没有单一基准能全面衡量其通用性。我们重点展示两项核心任务的量化评估结果:相机条件生成与3D重建。在这两项任务中,Atlas的性能均优于更专业的模型。

相机可控生成

我们将Atlas与多款顶尖视频模型在相机条件生成任务中对比:在每轮测试中,为模型提供单张输入图,搭配1至3种电影级相机运动轨迹(摇移、横移、升降等)。

我们为每个模型提供单张输入图与目标相机路径:Atlas采用原生相机输入格式编码路径;其他模型不支持原生相机输入,因此我们用标准电影术语在文本提示词中描述相机路径。尽管更复杂的提示词工程或创意多模态提示可能提升部分模型的相机路径跟随能力,但文本仍是描述相机运动最通用的输入方式。

第三方人工评估者会判定哪个模型更精准地遵循了预期相机路径。结果证实,Atlas在相机可控生成任务上的性能优于近期推出的视频模型,且相机轨迹越复杂,Atlas的优势越明显。

3D重建

我们还评估了Atlas在稀疏输入视图下的3D重建能力:每轮测试中,模型接收一组图像及其相机位姿,预测每个输入像素对应的3D点。这一问题在学术界备受关注,近年来涌现了许多专用重建模型。

Atlas作为同时支持生成与重建的全能模型,性能优于当前最优的开源专用重建模型。

我们在多个顶尖基准数据集上进行测试,并复现所有基线模型的结果,确保所有方法采用统一、公平的评估标准。

扩展性

现代AI的进步很大程度上由规模化驱动:通过扩展简单算法、运用更多数据与算力,模型性能得以提升。

我们有充分证据表明,Atlas的性能将随规模扩大持续提升。我们基于大规模多模态数据集从头预训练Atlas,在开发过程中训练了一系列规模与算力逐步提升的模型,发现每一级算力提升都能解锁新的模型能力。我们坚信,未来的世界模型将延续这一趋势,随着规模持续扩大,性能实现跨越式提升。

合作与招聘

Atlas已开启合作伙伴早期试用通道。若你希望基于Atlas开展开发,可在下方申请试用,我们将尽快与你联系。期待看到你的创意成果,也期待与你携手,将Atlas打造为生成、重建与模拟任意世界的首选世界模型。

我们同时正在招聘研究与工程领域的人才,共同推动空间智能发展。

本文由World Labs团队创作,引用格式如下:

@article{worldlabs2026atlas,
author = {World Labs Team},
title = {Atlas: A World Model for Spatial Intelligence},
journal = {World Labs Blog},
year = {2026},
note = {https://www.worldlabs.ai/blog/atlas},
}