出门问问算法团队倾力撰写的万字长文，深度剖析了中国如何复制Sora这一轰动全球的视频生成模型。OpenAI在发布ChatGPT和Sora等闭源大模型时，技术报告的营销性质远超技术细节披露，特别是Sora的技术博客明确表示不分享具体实现方法，仅展示了其设计理念与令人震撼的效果演示。
尚处于内测阶段的Sora，其影响力紧随一年多前ChatGPT之后，展现出了碾压现有视频生成模型的卓越性能，在维持高分辨率的同时，显著提升了视频生成长度及一致性表现。面对Sora带来的惊叹与反思，中国AI界一边为与OpenAI的差距感到忧虑，一边积极从不同角度进行技术解析与拆解。此刻，中国AI再次站在了关键的十字路口。作为技术人员，我们渴望了解Sora背后的具体实现逻辑；作为中国的创业者，我们追问能否复刻Sora？跨越哪些门槛才能成功复刻？是否存在一条让中国AI逆袭而上的强韧之路？
本文旨在依据出门问问训练跨模态大语言模型“序列猴子”的实战经验和相关文献梳理，提供对Sora技术路线有理有据的猜想分析。
本文主要探讨以下问题：
1. Sora的架构是什么？
2. 其编解码器采用何种技术？
3. 训练数据规模多大？
4. 是否大量使用模型再生数据？
5. 模型规模及训练成本是多少？
6. 大语言模型应扮演何种角色？
7. 复刻Sora需关注的核心点有哪些？
01. 通用多模态模型架构
为了理解Sora的技术原理，我们首先构建了一个通用的多模态模型框架，并以文生视频任务为例进行阐述。该框架主要包括三大模块：
- Tokenizer/Encoder（分词或编码器）：将视频数据压缩成隐含表示并切块化为时空切片Token，其中Token可以是离散或连续的表示形式。
- 跨模态对齐与转换生成：在统一的隐含空间中进行跨模态数据对齐与转换，训练时侧重对齐，推理时进行文本到视频的转换。此步骤涉及网络框架选择（如U-net与Transformer）以及模型类型（扩散模型与自回归模型如GPT）。
- De-Tokenizer / Decoder（解码器）：将生成的隐含Tokens还原成图像/视频，通常是Tokenizer过程的逆操作，也可能独立训练一个解码器。
基于此通用架构，可衍生出多种不同的视频生成模型架构，如Diffusion模型（代表包括SD、Gen-2、Pika等）和GPT模型，后者利用LLM的强大上下文处理能力确保视频连贯性与一致性，并可能实现端到端自回归模型简化流程。
02. Sora模型架构与编解码器
尽管无法获得OpenAI的官方确认，业内普遍认为Sora采用了类似DiT的架构，实现了规模化视觉模型，并取得了惊艳效果。对于Sora的Tokenizer/De-Tokenizer部分，尽管OpenAI的技术博客并未详细说明，但我们根据Google的相关项目（如ViT、ViViT、NaViT和MAGViT V2）推测其可能的编解码器设计。
03. 训练数据规模
OpenAI并未公开Sora的训练数据量，但通过合理猜测，图片数据可能达到数十亿张级别，视频数据则至少为数百万小时；经过Tokenize后，总Tokens数量可能达到十万亿级别以上。
04. 是否大量使用模型再生数据
Sora很可能大量利用了自动标注的视频数据（由Dalle-3生成caption），甚至包含游戏引擎生成的高质量3D场景数据。此外，Sora还创新性地大规模运用了GPT-4对Prompt进行扩展描述，以增强视频的丰富度和逼真性。
05. 模型参数规模与训练成本
虽然OpenAI未公布Sora的参数规模与训练成本，但我们可以推测其模型参数规模约在百亿级别，训练成本约为千万美元级。通过对历史论文中的GPU使用量分析，结合当前大模型公司的预算考量，以及对算力消耗与模型参数、训练数据规模关系的理解，得出上述结论。
06. 大语言模型的角色
Sora在技术博客中暗示其并未大规模融合大语言模型（LLM），但鉴于Sora生成视频的一致性表现，推测存在某种LLM的赋能作用。未来版本的视频生成模型应尝试将LLM作为起点，联合文本与视频数据进行训练，从而提升模型世界知识的学习效率。
07. 复刻Sora的关注重点
复刻Sora时，应重点关注图片和视频编解码器的细节优化、高质量视频数据的获取与处理、如何高效利用其他模型产生数据、强化视频模型与LLM的深度融合、实现图片和视频的联合训练以及支持各种格式的统一处理。
结语：
通过对Sora关键技术问题的量化解答——百亿级别的参数规模、十万亿级别的Tokens数量、千万美元级别的训练成本——我们深入探讨了视频生成模型的未来发展路径。在中国AI业界，面对Sora所带来的挑战与机遇，我们不应悲观消极，而是要坚定信念，凭借过去一年在大语言模型领域的积累与快速迭代，通过独特的用户场景理解与技术创新，完全有能力迅速追赶乃至引领潮流。
这场关乎AI未来的竞争，中国不仅参与其中，更期待在全球AI格局中占据领先地位，以深厚的创新底蕴，书写中国AI新篇章。时不我待，让我们秣马厉兵，枕戈待旦，共同开启中国AI新时代！
