自动驾驶领域迎来革新性突破！清华大学交叉信息研究院与理想汽车联手，提出了一项开创性的研究——DriveVLM，该技术将自动驾驶系统与大型视觉语言模型（VLM）深度融合，以解决传统自动驾驶在复杂场景理解及决策规划方面的瓶颈。
    当前自动驾驶系统虽然在3D感知、运动预测和路径规划等方面取得显著进展，但在处理罕见物体识别、复杂道路环境以及不可预见的人类行为时仍面临巨大挑战。DriveVLM的诞生，正是为了解决这一核心问题，它引入了逻辑推理能力强大的大模型，通过训练具备“思考”功能的系统，实现对长尾问题的有效应对，并逐步迈向L4级开放世界自动驾驶能力。
    DriveVLM的核心流程包括场景描述、场景分析和分层规划三个关键模块。场景描述模块用自然语言精确描绘驾驶环境并识别关键对象；场景分析模块深入剖析这些关键对象特征及其对本车行驶的影响；分层规划模块则从高层次决策到具体路径点逐步制定安全有效的驾驶策略。
    在此基础上，研究人员还推出了DriveVLM-Dual，这是一个创新的混合系统设计，结合了DriveVLM的优势和传统3D感知与规划模块，使得系统能够实现更精准的空间定位和高频轨迹规划。DriveVLM-Dual的设计灵感来源于人脑的慢速和快速思维过程，能够在不同复杂度的驾驶场景中灵活适应。
    为了验证DriveVLM和DriveVLM-Dual的性能，研究团队精心构建了一个名为SUP-AD的数据集，涵盖了多样化的复杂驾驶场景，并提出了新的评估指标。经过大规模实验，在nuScenes数据集及自有数据集上进行测试，DriveVLM展现出了卓越的性能，特别是在少量输入情况下表现优异，而DriveVLM-Dual更是超越了现有的端到端运动规划方法，取得了最先进的成果。
    总的来说，这项研究成果不仅标志着自动驾驶领域与生成式AI的深度整合，也预示着自动驾驶技术即将进入一个崭新的阶段，朝着更为智能、全面理解和应对复杂驾驶环境的方向迈进。DriveVLM与DriveVLM-Dual的研究成果，无疑为未来实现真正的无人驾驶铺平了道路。