DUSA：面向车路协同感知的解耦无监督仿真到真实自适应方法
计算机视觉与模式识别
2023-10-13 v1 人工智能
摘要
车联网（Vehicle-to-Everything, V2X）协同感知对自动驾驶至关重要。然而，实现高精度 V2X 感知需要大量标注真实世界数据，这类数据往往昂贵且难以获取。仿真数据因可极低代价大规模生成而备受关注。尽管如此，仿真与真实数据间的显著域差距（包括传感器类型、反射模式与道路环境差异）常导致在仿真数据上训练的模型在真实数据上评估时性能不佳。此外，真实世界协同智能体间仍存在域差距，例如自动驾驶车辆与路边基础设施可能安装不同类型传感器且外参不同，进一步增加了仿真到真实泛化的难度。为充分利用仿真数据，我们提出一种用于 V2X 协同检测的新无监督仿真到真实域自适应方法，称为解耦无监督仿真到真实自适应（Decoupled Unsupervised Sim2Real Adaptation, DUSA）。我们的新方法将 V2X 协同仿真到真实域自适应问题解耦为两个子问题：仿真到真实自适应与智能体间自适应。对于仿真到真实自适应，我们设计位置自适应仿真到真实适配器（Location-adaptive Sim2Real Adapter, LSA）模块，自适应聚合特征图关键位置特征，并通过在聚合全局特征上的仿真/真实判别器对齐仿真与真实数据特征。对于智能体间自适应，我们进一步提出置信度感知智能体间适配器（Confidence-aware Inter-agent Adapter, CIA）模块，在智能体级置信度图引导下对齐异构智能体的细粒度特征。实验证明了所提 DUSA 方法在从仿真 V2XSet 数据集到真实 DAIR-V2X-C 数据集的无监督仿真到真实自适应上的有效性。
引用
@article{arxiv.2310.08117,
title = {DUSA: Decoupled Unsupervised Sim2Real Adaptation for Vehicle-to-Everything Collaborative Perception},
author = {Xianghao Kong and Wentao Jiang and Jinrang Jia and Yifeng Shi and Runsheng Xu and Si Liu},
journal= {arXiv preprint arXiv:2310.08117},
year = {2023}
}
备注
ACM MM 2023