：苏霍伊
：王博
计算机视觉领域的国际顶会CVPR 20【引人注目】的2024年接收论文结果近日揭晓！北京大学前沿计算机研究中心助理教授、博士生导师董豪团队的一项突破性研究成果——ManipLLM，成功入选CVPR 2024。这一具身大模型技术的诞生，标志着机器人在理解并执行精细物体操作上实现了质的飞跃。
【爆点揭示】ManipLLM开创性地赋予了大语言模型仅通过一张物体图片就能精准操控机械臂完成多样化日常物体操作的能力，这在过去几乎是一项无法企及的技术挑战。如今，在提示词引导下，大语言模型能够在物体图像上直接预测出机械臂的操作点和方向，使得机器人能够真正听懂并执行人类下达的任务指令，依据视觉信息灵活调整动作以完成任务。董豪教授对「甲子光年」独家透露：“ManipLLM的核心目标是解决机器人操作的泛化难题。我们创新性地采用大模型直接在物体上输出动作的方法，而非传统方式中针对机器人本体的动作输出，以此显著提升机器人的环境适应性和泛化能力。”
从ManipLLM演示视频中可以直观看到，面对不同类别的物体，即使接受同样的“打开”指令，机械臂也能自主选择最合适的操作方式，展现出卓越的理解与交互智慧。
赋予大语言模型操控机械臂的奥秘
长久以来，“形魂相融”的理念被视为未来机器人的发展方向，其中人工智能作为“魂”，而机器人则是承载智能的“形”。然而，传统的机器人操作严重依赖人工精确预设接触点和执行器方向，将看似简单的动作转化为机器人能理解并执行的指令犹如一项浩大的工程。
ManipLLM颠覆了这一现状，它试图通过整合大型语言模型的思考之力与机器人的执行能力，让机器人不仅理解指令，还能像人类一样根据物理世界的交互法则做出判断与行动。
为解决大模型与实际操作结合的难题，董豪团队巧妙利用已经具备强大思考和解决问题能力的大型语言模型，通过特殊的训练方法，使其不仅能理解世界生成描述性语言，更能指导机器人在真实环境中灵活高效地执行任务。
具体而言，ManipLLM通过以下三个递进的学习阶段，实现了具有广泛泛化能力的以物体为中心的操作：
1. 类别级别学习：模型识别物体类别，并理解各类物体的基本特性，例如杯子是用来喝水的工具，门则是进出通道等。
2. 区域级别学习：基于对物体特性的理解，机器人推断在特定场景下应采取何种操作，识别可操作部位。
3. 位姿级别学习：模型进一步帮助机器人预测操作物体时的最佳姿态和动作路径。
设计的训练策略（如图所示），ManipLLM仅更新模型的一小部分参数，既保留了语言模型原有的认知智能，又增强了其操控实体世界的能力。最终，通过一种无需额外学习的优化策略，机器人能随着物体形状和方向自然调整动作，进行精细化操作，只需一句提示和一张照片，即可预测并执行操作物体所需的精确位置和旋转角度，进而转化成三维空间中的机械臂动作。
“ManipLLM是一个开源的多模态大模型，它能够生成可被机器人理解和执行的操作描述，并通过动力学原理完成任务，适用于任何类型的机器人。”董豪如是解释。
机器人理解与执行任务能力的新突破
大型语言模型对于具身机器人发展的推动作用深远，极大地扩展了机器人理解和执行任务的能力边界。凭借这些模型，机器人不再仅限于解析人类指令，而是能预测并规划自身的物理行为，实现更精准自然的人机交互。这一能力使机器人能够更好地融入生活和工业应用场景，无论家务助手还是复杂的工业任务，都能以前所未有的智能与灵活性来完成。
无论是仿真环境还是真实世界，ManipLLM在各类别物体上的出色表现验证了其在多元化场景下的可靠性和泛化能力。相较于RT2等以输出机器人本体动作为主的策略，ManipLLM聚焦于以物体为中心的操作，关注物体本身特性，从而输出更为准确的操作位姿。这种解耦任务、动作和机器人型号的设计思路，让ManipLLM能适应各种任务和机器人类型，应对复杂世界的挑战。
董豪表示：“大模型以其通用性和对未知场景的强大泛化能力，有力地赋能具身机器人，加速它们解锁更多任务领域，迈向真正的通用智能体，为未来的智能共生社会描绘出无限可能。”
大模型的应用不仅革新了机器人技术，也树立了未来机器人自主学习和适应能力的新标杆。目前，董豪的研究工作重点涵盖了可泛化的机械臂操作、机器人视觉以及移动设备自主决策等多个前沿领域，他在NeurIPS、ICLR、CVPR、ICCV、ECCV、ICRA、IROS等诸多国际顶级会议/期刊发表50余篇论文，Google Scholar引用次数超过5000次，多次担任包括NeurIPS、CVPR、AAAI、ICRA在内的顶尖会议的领域主席或副编委职务。同时，他领导开发的多个开源项目如TensorLayer和OpenMLsys取得了突出成就，曾在ACM Multimedia 2017荣获最佳开源软件奖，并在2021年和2022年连续获得OpenI杰出项目奖。
【配图说明】：封面图来源于ManipLLM演示视频。
