近日，美国罗格斯大学博士生金明宇及其团队在人工智能领域取得重大突破，他们通过引入思想链（CoT, Chain of Thought）这一创新概念，成功提升了大型语言模型（LLM）在解决复杂推理任务上的表现力，如算术推理、常识推理和符号推理等。
金明宇（见图），作为该研究的第一，与团队一同揭示了CoT的工作机制。CoT原理的核心在于通过提供逐步的推理过程示例，引导模型模拟人类解决问题的方式，细致拆解复杂问题，明确展示通往最终答案的每一步骤。这种方法有效地促使模型摒弃直接跳跃至结论的做法，转而采用有序且深入的理解与推断方式。相较于仅将输入映射到输出的传统指令追踪模型，CoT的独特之处在于它巧妙地融合了中间推理步骤于提示中，从而在涉及常识理解、算术运算和符号逻辑推理的任务上展现出了显著的性能提升。尤其值得注意的是，当模型参数量达到至少100亿级别时，CoT提示的效果开始凸显，而当模型参数达到1000亿时，其优势更为明显。
然而，对于小型模型而言，尽管应用CoT，但并未能同等程度地提升其性能，往往产生看似流畅却缺乏逻辑性的推理链条，从而导致错误结果。研究还揭示了一个关键发现：大型模型的推理能力和所接受的推理步骤数量存在绝对的线性关系，即推理步骤越多，模型解答推理题或逻辑题的准确率越高。
CoT借鉴人类思维模式，能够将复杂的推理任务拆解为一系列简单易处理的步骤，并引导模型按顺序逐一攻克难题。这种循序渐进的过程，在需要深度理解和精准解析的任务中尤为有效，例如算术、常识及符号推理等场景。
此外，CoT揭示了模型推理能力和推理步骤数之间的正比关系，这意味着在设计提示时，若能增加推理步骤的数量，模型在完成推理或逻辑任务时的精确度也将随之提高。这不仅有助于标准化和优化提示的设计，更极大地增强了LLM在复杂推理任务中的表现力。
尽管CoT带来了显著的性能改进，但也面临着一些挑战。如何平衡推理步骤的数量以避免对模型造成过载，以及保证提供的推理示例具备高质量与逻辑连贯性，是当前应用CoT过程中必须关注的问题。清晰、合理的推理步骤能让模型更好地学习并应用于新情境，同时也有利于人类理解和解释模型的推理路径。
在相关研究中，团队进一步证实，随着推理步骤数量的增长，模型性能呈线性提升，填补了此前关于提示设计标准化方法缺失的问题。CoT框架的应用，使得创建高效提示成为可能，助力LLM轻松应对复杂的推理任务。
CoT不仅能助力用户解决数学难题，还有望增强搜索引擎功能，使其不仅能提供答案，还能展示得出答案背后的逻辑推理过程，大大提升了用户体验。
日前，该研究成果已发表在arXiv上，论文题目为《推理步长对大型语言模型的影响》。金明宇担任第一，美国新泽西理工学院的杜孟楠教授担任通讯（见论文插图）。
金明宇表示，尽管CoT已经展现出显著效果，但仍需进一步探索其基本属性，以便为其他研究提供支持。团队计划未来深入探究LLM内部机制，分析长推理步骤与短推理步骤对大模型神经元活动的影响，并希望通过可视化技术揭示两者在激活模式上的差异。他们的长远目标是确定长推理步骤是否与更广泛的神经元参与有关，从而为推动AI推理能力的发展奠定坚实基础。
