【深度学习三巨头之一Meta首席科学家杨立昆点赞分享了一篇探讨性万字长文《视频生成器是世界模拟器吗？》。文章围绕Sora这一前沿视频生成模型的工作原理及其实质，从多角度剖析了其是否能被视为“世界模拟器”。
    近日，深度学习领域的领军人物、Meta首席科学家杨立昆在其社交平台转发并盛赞一篇深度探讨视频生成技术与世界模拟关系的博文。该文以Sora模型为核心研究对象，通过对其工作原理、模拟假说、直观物理学内涵、世界模型定义以及图像生成等多个维度进行深入分析，最终得出结论：尽管Sora可能并不完全符合大众对于“世界模拟器”的期待，但从更广泛的角度来看，它能够被视作一个有限形式的“世界模型”。
    借由Sora与Stable Diffusion在生成过程中的相似性，揭示了Sora可能超越像素空间表面统计拟合的程度，受潜在3D几何结构和动态关键因素影响，从而提取出深度、因果等抽象特征表达。这表明，Sora具备在潜在空间中学习并捕捉现实世界部分规律的能力。
    Sora自年初发布以来，围绕其是否真正理解物理世界的讨论热度持续不减，其中英伟达科学家Jim Fan将其形容为“数据驱动的物理引擎”，而杨立昆则多次公开质疑Sora能否构建有效世界模型，认为其仅通过像素生成的方式来模拟世界的训练方式既浪费时间，也难以实现真正的突破。
    本文拉斐尔·米利埃尔，澳大利亚悉尼麦考瑞大学哲学讲师，专注于AI、认知科学与心智哲学的研究，他撰写的这篇文章对Sora的技术细节进行了详尽解读，并指出Sora虽是一项工程壮举，但在架构层面并未实现重大突破。
    文章详细拆解了Sora的核心——扩散变换器（DiT）架构，这一架构借鉴了潜在扩散模型的优势，并将U-Net骨干替换为改良后的视觉Transformer，提高了效率和扩展性，使其更容易适应不同分辨率的生成任务。同时，文中对Sora是否在训练过程中习得了物理世界的内在规律提出了模拟假说，并通过对比其他人工智能系统如Genie、V-JEPA等，探讨了Sora作为“世界模型”的可能性。
    进一步引申至图像生成模型领域，研究表明这些模型确实能够在潜在空间中编码和学习到关于3D场景几何结构的部分信息，虽然存在物理不一致性的现象，但它们已经超出了单纯对像素空间表面统计的拟合，展示出对深度和显著性等潜在信息的有效引导能力。
    综上所述，尽管Sora在某些直观物理现象的模拟上尚存不足，但其确实在潜在空间中学习到了抽象规律，可视为一个有限意义上的“世界模拟器”。未来，随着视频生成模型技术的发展与成熟，我们有望看到它们在娱乐功能之外，在更强大的“世界模拟”应用中发挥重要作用，甚至有可能与认知科学的关键问题产生更为紧密的联系。】