（视频插播：“Sora模型只有3B | 笔记”）
在Sora引用的32篇论文中，第26篇尤为引人注目，即Peebles和谢赛宁共同撰写的《Scalable diffusion models with transformers》一文，在2023年国际计算机视觉大会（ICCV）上发表。两位背景深厚，Peebles在伯克利读博期间曾在Meta AI的FAIR实习，并与担任研究科学家的谢赛宁携手完成了此项研究，目前谢赛宁任教于纽约大学数据科学中心，担任助理教授；而Peebles现为OpenAI Sora项目的联合负责人，在Sora技术报告列表中位居第二。谢赛宁博士近期在社交媒体平台X上分享了他对Sora技术报告的独特见解：
“我深感赞叹并感谢团队公开的深刻洞见与设计决策——Sora无疑是一项革命性成果，它将彻底颠覆视频生成领域。简而言之，Sora的核心就是一个基于扩散Transformer（DiT）模型的架构，该架构在ICCV 2023年发布的论文中详述：DiT整合了VAE编码器、ViT、DDPM以及VAE解码器，形成一个集大成的Transformer骨架扩散模型。
值得注意的是，这里的VAE代表变分自编码器，它是一种能够无监督学习高维概率分布的深度学习模型，通过编码器和解码器实现数据的有效表示；DDPM则是去噪扩散概率模型，这一类生成模型通过模拟逆向扩散过程来高效生成数据。
根据报告，Sora并未引入过多额外组件，其中所谓的“视频压缩网络”，似乎是对原始视频数据训练后的VAE应用，标记化在此过程中对确保时间连贯性起到了关键作用。有趣的是，虽然VAE本质上是卷积网络，但这意味着DiT实际上是一个混合模型结构。
对于Sora可能仅拥有30亿参数这一点，谢赛宁博士提到，当初与Peebles合作研发DiT项目时，他们更关注模型的简单性和可扩展性，而非追求激进的创新。这种策略不仅带来理论上的优势，也赋予了模型实际应用中的灵活性。例如，利用ViT架构，Sora可以灵活处理不同大小的随机初始化块以控制生成视频尺寸，这是UNet等其他架构难以直接实现的。
此外，谢赛宁博士猜测Sora可能采用了谷歌的Patch n’ Pack（NaViT）技术，使得DiT能更好地适应各种分辨率、持续时间和宽高比的变化。而在可扩展性方面，Sora证实了DiT在图像领域的扩展规律同样适用于视频生成任务，显示出强大的性能提升潜力。
针对报告中首个视频质量欠佳的问题，谢赛宁博士推测该模型可能使用了一个基础尺寸较小的版本。他通过计算指出，若Sora的基础模型规模相当于DiT-XL/2，那么最终的16倍计算模型可能拥有约30亿参数，这样的模型大小并非不合理，且暗示着训练Sora模型所需的GPU资源可能低于预期，预示着未来迭代的速度将十分迅猛。
数据的关键性地位不容忽视。从“涌现的模拟能力”部分我们可以看出，Sora成功展示了长格式一致性可以通过端到端训练获得，而无需复杂的主题驱动生成管道或物理模拟器。然而，有两个关键点尚未得到充分讨论：一是训练数据来源及其构建方式，这可能是Sora取得突破性成就的决定性因素；二是如何实现自回归式长视频生成，特别是在解决错误累积问题以保持长时间内生成质量和一致性的挑战。谢赛宁博士对此充满好奇，并大胆猜测Sora的数据来源可能涵盖了游戏引擎、电影、纪录片等多种高质量素材。
与此同时，来自NYU团队的最新研究成果SiT值得关注。这款同样基于DiT架构的新模型，展现出了更为出色的性能和更快的收敛速度，人们期待它能在视频生成领域有出色表现。随着更多技术细节在未来被揭开，Sora及其背后的技术将进一步引领人工智能视频生成技术的发展潮流。
