合成数据革新大模型的数学推理能力边界！
近日，一项颠覆性研究由Swin-Transformer团队携手西安交通大学、中国科学技术大学、清华大学以及微软亚洲研究院共同完成，并以《普通7B规模语言模型已展现强大数学能力》为题在arXiv上发布。该研究表明，即使未经大规模数学相关预训练的70亿参数通用预训练模型LLaMA-2-7B，在数学问题解决方面也隐藏着惊人的潜力。
研究团队首先仅采用7.5K数据对LLaMA-2-7B进行指令微调，随后在GSM8K和MATH基准测试中对其进行评估。实验结果显示，当从256个生成的答案中选出最优答案时，模型在两个测试集上的准确率分别高达97.7%和72.0%，这一突破性结果挑战了以往认为只有超大规模或专业数学预训练模型才具备出色数学推理能力的观点。
然而，研究人员揭示了一个关键问题：尽管模型具有强大的数学推理潜力，但如何稳定、一致地激活这种潜能是一个核心难题。原始实验显示，如果仅考虑单次生成的答案，模型在GSM8K和MATH上的准确率会骤降至49.5%和7.9%。为了解决这一稳定性问题，研究团队创新性地采用了扩大有监督微调（SFT）数据集的方法，并通过合成数据实现有效扩充。利用GPT-4 Turbo API生成高质量数学问题与解题过程，配合验证提示词确保数据质量，他们成功将SFT数据集扩展至约百万样本，近乎完美遵循缩放定律。
最终，经过优化的Xwin-Math-7B模型在GSM8K和MATH评测中分别取得了82.6%和40.6%的准确率，不仅大幅超越了先前的SOTA模型，甚至能与部分70B量级模型相媲美，实现了跨级别提升。而Xwin-Math-70B模型在MATH评测集上更是达到了52.8%，显著优于GPT-4早期版本，这是基于LLaMA系列模型首次在MATH上超越GPT-4。
为了更全面评估模型性能，研究人员引入了Pass@N和PassRatio@N这两个新评测指标，用于衡量模型在N次输出中产生正确答案的概率及其稳定性。随着SFT数据集增大，模型的PassRatio@256大幅提升，证实了基于合成数据的有监督微调策略对提高模型数学能力稳定性的重要性。
研究进一步深入探究了模型在不同推理复杂性和错误类型下的表现规律。数据显示，模型解决数学问题的准确性与推理步骤数量呈幂律关系，增加长推理步骤训练样本的比例有助于提高解决复杂问题的准确率。同时，计算错误相较于推理错误更容易得到改善。
值得一提的是，在匈牙利高中数学考试这一检验模型数学推理泛化能力的平台上，Xwin-Math获得了仅次于GPT-4的65%分数，展示了其良好的泛化能力，并证明所采用的合成数据方法并未导致过拟合现象。这项研究通过展示合成数据在扩展SFT数据集方面的高效性，为大型语言模型在数学推理能力领域的探索开辟了全新视角。研究团队坚信，他们的工作为未来的研究奠定了坚实基础，有望推动人工智能在数学问题解决方面的重大突破。随着AI技术日新月异的发展，我们有充足的理由期待AI在数学领域展现更加卓越的表现，为人类攻克复杂数学问题提供有力支持。
欲了解更多关于数据合成方法的消融实验和其他评测指标的详细，请参阅完整论文及附件。
