谷歌DeepMind和斯坦福大学的研究揭示了一个令人惊讶的现象：大型语言模型（LLM）的推理能力在很大程度上受到问题中前提条件呈现顺序的影响。最新研究发现，当这些前提按照逻辑推理过程中的自然顺序排列时，模型的表现最佳；然而，如果打乱这种顺序，则可能导致模型性能下降高达30%。
    这一结论源于对数学和一般逻辑推理任务的深入分析。实验结果显示，在处理涉及多个步骤的证明或推理过程中，大模型遵循正确的前提顺序至关重要。当信息按逻辑顺序给出时，模型能更好地理解和应用规则进行正确推断。而当顺序被打乱时，即使对于简单的逻辑关系，如“如果A则B，如果B则C，A为真，所以C也为真”，LLM也可能因无法有效捕捉前提间的联系而导致表现显著下滑。
    研究人员还特别创建了一个名为R-GSM的测试基准，通过调整GSM8K数学推理测试集中问题描述的前提顺序来进一步验证这一现象。他们发现在R-GSM测试集中，所有主流LLM的性能均有所下降，并且随着问题复杂度（如所需推理步骤数和无关干扰规则数量的增加）的提升，顺序效应带来的性能差距更为明显。
    此外，研究人员观察到不同模型对前提顺序变化的敏感度各异，例如Gemini Pro和GPT-3.5-turbo在面对顺序打乱的问题时，准确率降幅可达40%以上。尽管人类在解决逻辑问题时也会有某种顺序偏好，但LLM对此类顺序效应的依赖性显然更强，这可能是由于自回归训练目标、训练数据偏差等因素导致的。
    综上所述，尽管改变前提顺序并不影响问题的本质，但对于大语言模型而言，却会对它们在推理任务上的表现产生决定性影响。这一研究不仅揭示了当前LLM存在的局限性，也为未来优化模型推理能力和构建更具鲁棒性的AI系统提供了重要启示。