2月16日，OpenAI发布Sora标志着视频生成技术的重大突破。不同于市面上基于2D Stable Diffusion拓展的主流方法，Sora采用了Diffusion Transformer架构。中国人民大学的研究团队在ICLR 2024上发表的一篇论文《VDT: General-purpose Video Diffusion Transformers via Mask Modeling》揭示了这一选择背后的深层原因。
    这篇论文展示了研究者提出的Video Diffusion Transformer (VDT)模型，它利用Transformer强大的token化和注意力机制捕捉长时序或非规则的时间依赖性，在处理视频数据时展现出优越性能。VDT不仅能够生成时间连贯的视频帧，还能模拟三维对象随时间的物理动态。
    VDT创新性的时空掩码建模机制使其具备统一处理多种视频生成任务的能力，包括无条件生成、视频预测、插值以及文本到图像生成等。通过简单的token空间拼接，VDT能够灵活处理不同长度和模态的条件信息，并且在不改变模型结构的前提下应用于多种任务。
    深入探究VDT的网络架构，其与Sora的设计有诸多相似之处。两者均采用将原始像素投影至潜在空间以减少计算量的策略，并在Transformer Block中融入时间注意力层以实现对时间维度的有效建模。尽管如此，VDT与Sora在实现细节上存在差异：VDT选择分离处理时空注意力，而Sora则倾向于合并时空维度进行单一注意力处理。此外，Sora还考虑了文本条件融合的可能性，这可能是其强大视频动态能力的来源之一。
    实验结果显示，VDT在不同视频生成任务上的表现优异，同时展现出了高度的可扩展性和灵活性。研究者通过消融实验验证了Transformer架构在视频扩散任务中的有效性，并指出模型性能与其参数规模（GFlops）强相关，暗示着更大的模型可能带来更好的结果。
    值得注意的是，VDT还在Physion数据集上成功模拟了一些简单物理规律，进一步证明了Transformer架构的学习潜力。然而，目前VDT仅在小型学术数据集上进行了测试，期待未来能在中国公司的支持下，发展出国产版Sora，并在更多实际应用场景中发挥更大作用。随着GPT模型的成功及自回归模型的普及，Transformer在视频生成领域的深度应用有望为视觉智能提供新的途径和发展方向。