随着大语言模型赋予语音助手“说学逗唱”的能力，另一边的自动驾驶领域也迎来了重大突破。一款名为DriveVLM的新一代自动驾驶系统，由清华大学叉院与理想汽车联手打造，正以解决自动驾驶领域的老大难问题——长尾场景为己任。
    DriveVLM在自动驾驶系统中融入了大视觉语言模型（VLM）的视觉理解和推理能力，使其能够识别并妥善处理城市道路中的复杂情况。无论是道路上倒着的自行车、穿越马路的牛群，还是打着手势指挥交通的交警，DriveVLM都能准确捕捉，并据此做出安全且合理的驾驶决策。
    值得注意的是，DriveVLM是一个端到端系统，在英伟达Orin芯片上运行时，仅需0.3秒就能完成单一场景的推理，实现了高效实时响应和决策。
    该系统通过视觉编码器处理摄像头输入的图像序列，结合VLM进行思维链式推理，包括场景描述、分析及分层规划等环节。例如，在面临前方有缓慢行驶的三轮车、指挥交通的交警等复杂场景时，DriveVLM能判断出应保持适当距离缓慢直行，同时还能生成直观的语言界面，实现与用户的交互功能。
    更进一步，DriveVLM不仅能应对常规道路场景，对于高速公路偶遇牛群、狭窄桥梁、雪路等非常规环境也能有效识别并作出适应性决策。团队还推出了DriveVLM-Dual版本，针对3D物体感知进行了优化，不仅提高了系统的反应速度，还降低了延迟。
    DriveVLM的研发团队汇聚了来自清华大学叉院和理想汽车的一流人才，其中包括在自动驾驶领域有着丰富经验和深厚学术背景的专家。在他们的共同努力下，DriveVLM作为一款理解力强大、适用范围广泛的端到端自动驾驶系统，有力地推动了完全自动驾驶技术的发展进程。
    目前，大模型在智能汽车行业的重要性日益凸显，云端部署的大模型如毫末智行的雪湖·海若、百度文心等主要用于训练和优化感知决策，而车端部署的端到端大模型如特斯拉FSD V12、商汤UniAD以及本文主角DriveVLM，则致力于实现对复杂长尾场景的理解与应对。
    总而言之，在AIGC产业浪潮推动下，DriveVLM及其同类产品正在成为引领自动驾驶下半场竞争的关键力量，它们的出现无疑拉近了我们与全自动驾驶时代的距离。