当前，多模态GenAI技术正处在炙手可热的发展阶段，OpenAI的Sora项目尤为引人注目，而苹果公司显然不甘示弱，力图在这一前沿领域建立自己的技术壁垒。近日，苹果科研团队在题为《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》的联合署名论文中，首次公开了自家研发的大型多模态基础模型研究成果，该模型参数规模高达30B。
通过访问论文链接：https://arxiv.org/pdf/2403.09611.pdf，我们可以深入了解苹果的研究成果。研究团队细致探讨了架构组件、数据选择等关键因素，并通过一系列实验总结出了一系列设计原则。具体而言，论文主要贡献集中于三个方面：
首先，研究人员通过小规模消融实验，在模型架构决策和预训练数据选择上揭示了几条重要的趋势。其中，图像分辨率、视觉编码器损失与容量以及视觉编码器预训练数据的选择被证实具有显著的重要性顺序。
其次，研究者采用三种类型的预训练数据——图像字幕、交错图像文本和纯文本数据，发现对于少样本及纯文本性能，交错和纯文本训练数据至关重要；而对于零样本性能，则以字幕数据最为重要。这些发现在监督微调后仍然得以保持，证明了预训练阶段的性能表现和建模决策在微调过程中能够得到延续。
最后，苹果团队构建了一个名为MM1的多模态模型系列，其最大参数量达到惊人的300亿（其他版本为30亿、70亿），由密集模型和混合专家（MoE）变体构成。MM1不仅在预训练指标上达到了行业领先水平，在经过监督微调后，更是在一系列多模态基准测试上展现出了强劲的竞争力。在少样本设置下，MM1在字幕任务和问答任务上的表现超越了Emu2、Flamingo和IDEFICS等现有模型。而在监督微调后的12个多模态基准测试中，MM1也取得了颇具竞争力的成绩。
得益于大规模多模态预训练，MM1在上下文预测、多图像推理及思维链分析等方面表现出色，并且在指令调优后展现出强大的少样本学习能力。
深入探究MM1的构建过程，研究者详细阐述了创建高性能多模态大型语言模型（MLLM）所需的关键决策。他们聚焦于架构设计、数据选择和训练程序三大核心方向：
- 架构层面，研究团队考察了不同的预训练图像编码器，并探索了如何将LLM与这些编码器有效连接的各种方法。
- 数据层面，团队考虑了不同类型的数据及其相对混合权重。
- 训练程序层面，讨论了如何优化MLLM的训练过程，包括超参数设定以及何时训练模型的各个部分。
在资源有限的前提下，团队采用了简化版的消融设置，通过零样本和少样本（4个和8个样本）在多种VQA和图像描述任务上的性能评估，进行了详尽的组件消融试验。在图像编码器预训练、视觉语言连接器的设计以及预训练数据的选择等方面进行了深入剖析，并得出了多个关键性结论。
最终，基于上述消融试验结果，研究者确定了MM1多模态预训练的最优配置方案，并通过逐步扩大LLM参数规模至3B、7B乃至30B，同时利用AXLearn框架进行训练，使得MM1在预训练和监督微调后的性能均得到了显著提升。在监督微调实验中，MM1的表现尤为突出，不仅在多个基准测试如VQAv2、TextVQA、ScienceQA、MMMBench和MathVista上超越了同等规模的竞争对手，而且在引入MoE架构后，苹果的MoE模型在几乎全部基准测试中都优于对应的密集模型，显示出MoE架构在未来拓展中的巨大潜力。
综上所述，苹果凭借MM1大型多模态模型的卓越表现，不仅彰显了其在多模态GenAI领域的深厚实力，也为未来可能推出的基于此模型的文生图产品奠定了坚实的基础，让我们共同期待苹果在这一前沿科技领域创造更多激动人心的突破。
