DualCross：面向单目 BEV 感知的跨模态跨域自适应
计算机视觉与模式识别
2024-06-13 v2 人工智能
机器人学
摘要
缩小训练与部署间的域差距并融合多传感器模态，是自动驾驶中两个具挑战性却至关重要的课题。现有工作仅聚焦上述其一，忽视真实场景中普遍存在的模态与域同时偏移。一个以欧洲采集的多传感器数据训练的模型，可能需在亚洲以可用输入传感器子集运行。本文中，我们提出 DualCross，一种跨模态跨域自适应框架，以助学习更鲁棒的单目鸟瞰（bird's-eye-view，BEV）感知模型；其将一域中 LiDAR 传感器的点云知识于训练阶段迁移至异域仅相机的测试场景。本工作首开对野外单目 3D 任务跨域跨传感器感知与自适应的公开分析。我们在大规模数据集上于广泛域偏移下基准测试本方法，并相较各类基线取得 SOTA 结果。
引用
@article{arxiv.2305.03724,
title = {DualCross: Cross-Modality Cross-Domain Adaptation for Monocular BEV Perception},
author = {Yunze Man and Liang-Yan Gui and Yu-Xiong Wang},
journal= {arXiv preprint arXiv:2305.03724},
year = {2024}
}
备注
IROS 2023. Project website: https://yunzeman.github.io/DualCross