• 行业咨询
  • 品牌营销
  • 集微资讯
  • 知识产权
  • 集微职场
  • 集微投融资
  • 集微企业库
搜索
爱集微APP下载

扫码下载APP

爱集微APP扫码下载
集微logo
资讯集微报告舆情JiweiGPT企业洞察
集微视频
登录登录
bg_img
search_logo
大家都在搜

CVPR 2025|DiffusionDrive: 迈向生成式多模态端到端自动驾驶

作者: 爱集微 03-07 20:02
相关舆情 AI解读 生成海报
来源:地平线 #地平线#
2w

DiffusionDrive方法概述

近年来,端到端自动驾驶成为研究热点,其核心在于从传感器数据直接学习驾驶决策。然而,驾驶行为本质上是多模态的——同一场景下可能存在多种合理轨迹,例如在复杂路口,车辆可选择左转、右转或直行。这种多样性是提升自动驾驶鲁棒性和安全性的关键,但现有方法往往受限于单一轨迹回归或固定锚点采样,难以全面建模驾驶决策空间。

扩散模型 (Diffusion Model) 凭借强大的多模态建模能力,已在机器人决策学习中得到验证。其逐步去噪机制能从复杂数据分布中生成多样性强、符合物理约束的轨迹,使其成为自动驾驶多模态规划的理想选择。然而,扩散模型直接应用于端到端自动驾驶仍面临计算开销高和模式崩溃 (Mode Collapse) 的问题——传统扩散模型需多轮迭代去噪,导致推理速度难以满足实时需求,同时在高度动态的交通场景下,生成轨迹往往趋于重叠,无法充分展现驾驶决策的多样性。

为此,我们提出截断扩散策略 (Truncated Diffusion Policy) ,结合多模态锚点先验 (Multi-mode Anchors Prior) ,通过截断扩散过程,使模型从锚定的高斯分布 (Anchored Gaussian Distribution) 直接去噪至多模态驾驶轨迹分布。该方法避免了从纯随机噪声开始的冗长迭代,仅需2步即可完成高质量轨迹推理,相比传统扩散策略加速10倍。此外,我们设计了级联扩散解码器 (Cascade Diffusion Decoder) ,增强模型对场景信息的交互能力,提升轨迹预测精度。

我们提出的DiffusionDrive首次在端到端自动驾驶中引入扩散模型,并通过截断扩散策略与级联扩散解码器,有效解决计算开销与模式崩溃问题,为构建高效、鲁棒的多模态自动驾驶规划提供了新思路。

范式对比

对比不同的端到端自动驾驶范式:

(a) 单模态回归方法,通过Ego Query机制直接预测单一轨迹,但忽略了驾驶行为的多模态特性,难以适应复杂交通场景。

(b) 预定义锚定轨迹采样方法,通过固定的锚定轨迹集来离散化轨迹空间,并基于评分机制进行选择,虽然能够一定程度上捕捉多模态行为,但受限于锚定轨迹数量和分布,难以泛化到未见场景。

(c) 传统扩散策略通过在高斯分布上迭代去噪来生成轨迹,能够捕捉多模态驾驶行为,但由于去噪步骤多,计算成本高,并且在复杂交通环境中容易出现模式崩溃,导致轨迹多样性不足。

(d) 我们提出的截断扩散策略,通过引入锚定高斯分布,利用多模态锚点作为初始分布,使模型从更合理的轨迹分布开始去噪,从而显著减少计算开销,仅需少量去噪步骤即可生成高质量的多模态轨迹,在保证多样性的同时大幅提升推理效率,使其更适用于实时自动驾驶。

截断扩散策略

传统扩散策略在端到端自动驾驶任务中的应用面临两大核心挑战:高计算成本和模式崩溃。扩散模型的去噪过程通常需要多轮迭代,例如20轮,以逐步将纯高斯噪声转化为可行的驾驶轨迹。然而,这种逐步推理方式导致计算开销极高,难以满足实时自动驾驶的要求。此外,由于自动驾驶场景高度动态且充满不确定性,扩散模型从随机噪声生成轨迹时,可能会产生高度相似、甚至完全重叠的轨迹分布,导致模式崩溃,使得生成的轨迹多样性不足,难以覆盖真实世界中的驾驶决策空间。

为了解决这些问题,我们提出截断扩散策略,通过结合多模态锚点先验,优化扩散模型的初始化和去噪过程,使其能够从更合理的轨迹分布出发,而非从完全随机的高斯噪声开始。具体而言,我们首先在训练数据中对驾驶轨迹进行聚类,得到一组代表性的锚点轨迹 (Anchor Trajectories) ,这些锚点能够较好地覆盖不同驾驶场景下的典型轨迹模式。在训练时,我们不再让模型从纯随机高斯分布中学习去噪,而是在锚点轨迹的基础上添加少量噪声,形成一个更具物理合理性的初始分布。相比于传统扩散模型直接从随机噪声学习驾驶行为,这种方式大幅减少了去噪步骤的需求,让模型可以从更接近真实驾驶行为的轨迹分布中进行优化。

在推理阶段,我们直接从这些锚定的轨迹分布中采样,而不是从完全随机的高斯噪声开始,并大幅缩短去噪过程,仅需2轮去噪步骤即可生成高质量的驾驶轨迹,相比传统扩散策略加速10倍。此外,为了进一步提升轨迹的合理性,我们在去噪过程中引入了置信度评分机制 (Confidence Scoring Mechanism) ,通过对去噪后的轨迹进行动态评分,筛选出最符合物理约束和场景要求的轨迹。这种评分机制可以有效过滤掉异常或重叠的轨迹,避免模式崩溃问题,使最终生成的轨迹既具备多样性,又保持合理性。

此外,我们设计了一种级联扩散解码器,提升模型在去噪过程中的场景感知能力。传统扩散模型通常采用单步解码,即直接在每一步去噪后输出轨迹,而我们的级联扩散解码器允许模型在每个去噪步骤中与环境感知信息进行多轮交互,通过层层递进的方式优化轨迹质量。这种级联机制结合了稀疏可变形注意力 (Sparse Deformable Attention) ,使得模型能够高效地从鸟瞰视角 (BEV) 和透视视角 (PV) 提取关键信息,提升轨迹生成的稳定性和鲁棒性。

综上,我们的截断扩散策略不仅保留了扩散模型在多模态轨迹建模上的强大能力,还通过锚点先验和去噪优化,显著提升了推理效率,并通过置信度评分和级联解码器,有效解决了模式崩溃问题,最终使得生成的驾驶轨迹更加贴近真实驾驶行为,使其更适用于实时自动驾驶系统。

实验验证

我们选择采用更加严格的闭环评测方式,针对驾驶决策的数据集NAVSIM,来验证我们的设计:

可以看到DiffusionDrive大幅领先之前所有的端到端方案,仅仅通过学习人类驾驶行为,不引入额外监督与后处理,我们超过了之前的冠军方案Hydra-MDP。

EP指标的明显优势更是凸显了DiffusionDrive方法的鲁棒性。因为EP指标用于评测planning的完成度以及对干扰的鲁棒性,而DiffusionDrive在这一指标上具有十分突出的优势。

在消融实验中,显示我们提出的截断式扩散策略和设计的Diffusion Decoder相比于传统扩散策略能够带来更高的planning质量 (PDMS) ,更高的planning多模态特性 (D) ,更快的速度 (FPS) 。

可视化验证

我们将模型在验证集上推理得到的多模态轨迹可视化出来:

如上图所示,我们不仅能够输出保守的跟车,也能够输出合理换道超车的行为。

上图也是进一步验证DiffusionDrive鲁棒的多模态特性,输出多样化的planning轨迹能够进一步与环境交互,避免碰撞。

上图显示DiffusionDrive还能和红绿灯交互,所以在除了跟车行为之外的换道行为时,选择停在停止线上,而模型在训练中并没有红绿灯的标注,通过提出的范式,使得模型学习到了潜在的驾驶底层逻辑。

业务验证

DiffusionDrive也在业务数据集上进行了规模化验证。

总结

我们提出DiffusionDrive,一种基于扩散模型的端到端自动驾驶方法,以截断扩散策略解决传统扩散方法的高计算成本和模式崩溃问题。通过引入多模态锚点先验,我们将去噪过程从锚定的高斯分布开始,而非从纯随机噪声进行迭代,大幅减少计算量,仅需2步即可生成高质量轨迹,相较于传统扩散策略推理加速10倍。此外,我们设计了级联扩散解码器,结合场景感知信息逐步优化轨迹,提升轨迹预测的多样性和准确性。

实验表明,DiffusionDrive在NAVSIM和nuScenes数据集上均取得最优表现,显著提升了规划质量、轨迹多样性和计算效率。相比现有SOTA方法,DiffusionDrive在保证实时性的同时,提高了20.8%轨迹精度,降低63.6%碰撞率。此外,我们更是在真实场景中验证了DiffusionDrive的有效性。

本研究首次将截断扩散策略引入端到端自动驾驶,突破了扩散模型计算开销大、模式崩溃的瓶颈,为实时高效的多模态驾驶决策提供了一种全新范式。



责编: 爱集微
来源:地平线 #地平线#
分享至:
THE END
相关推荐
  • 地平线征程6开启量产加速度,让辅助驾驶人人可享

  • 地平线征程6M全系赋能,理想L系列智能焕新版正式发布!

  • 全球首张且唯一ISO 8800证书!地平线获通向全球市场的“安全信任护照”

  • 地平线与电装达成战略合作,强强联手推动高性能辅助驾驶技术应用

  • 地平线与博世深化合作,携手为多家车企提供辅助驾驶产品

  • 强强联合再进阶!理想AD Pro辅助驾驶正式升级搭载地平线征程6M

评论

文明上网理性发言,请遵守新闻评论服务协议

登录参与评论

0/1000

提交内容
    没有更多评论
爱集微

微信:

邮箱:laoyaoba@gmail.com


10.9w文章总数
12012.5w总浏览量
最近发布
  • BOE(京东方)携尖端首发新品亮相2025国际显示周 以创新技术定义行业绿色发展趋势

    58分钟前

  • 紫光集团原董事长赵伟国一审被判死缓

    2小时前

  • 七部门:设立“国家创业投资引导基金”,优先支持取得关键核心技术突破的科技型企业上市融资

    3小时前

  • 关税战下丰田汽车每小时损失约百万美元成汽车业最大输家

    4小时前

  • 酷赛科技员工获四川省 “劳模” 背后:酷赛人才培养机制正让 “人人皆可成才” 照进现实

    4小时前

最新资讯
  • 倒在人形机器人风口上的芯片企业

    9小时前

  • 安路科技:国产FPGA创新者,汽车电子赛道加速崛起

    12小时前

  • BOE(京东方)携尖端首发新品亮相2025国际显示周 以创新技术定义行业绿色发展趋势

    58分钟前

  • 依然“全大核”!一加携手联发科技成立游戏联合实验室,首发旗舰芯片天玑9400e

    60分钟前

  • 【每日收评】集微指数涨0.29%,东山精密拟1亿欧元收购法国Groupe Mécanique Découpage 100%股权

    2小时前

  • 紫光集团原董事长赵伟国一审被判死缓

    2小时前

关闭
加载

PDF 加载中...

集微logo
网站首页 版权声明 集微招聘 联系我们 网站地图 关于我们 商务合作 rss订阅

联系电话:

0592-6892326

新闻投稿:

laoyaoba@gmail.com

商务合作:

chenhao@ijiwei.com

问题反馈:

1574400753 (QQ)

集微官方微信

官方微信

集微官方微博

官方微博

集微app

APP下载

Copyright 2007-2023©IJiWei.com™Inc.All rights reserved | 闽ICP备17032949号

闽公网安备 35020502000344号