RCDN：基于动态特征的三维神经建模实现鲁棒的相机不敏感协同感知
计算机视觉与模式识别
2025-03-18 v2
摘要
协同感知致力于基于多智能体的多视角传感器输入，解决单智能体感知的局限性（如遮挡）。然而，现有大多数工作假设所有智能体的多视角相机持续可用这一理想条件。现实中，相机在协同过程中可能高度噪声、被遮挡甚至失效。本文引入了一个新的鲁棒相机不敏感问题：如何克服由失效相机视角引起的问题，同时以低标定成本稳定地保持高协同性能？为解决上述问题，我们提出了RCDN，一种具有新颖的基于动态特征的三维神经建模机制的鲁棒相机不敏感协同感知方法。RCDN的核心直觉是构建协同神经渲染场表示，以恢复由多个智能体发送的失效感知消息。为了更好地建模协同神经渲染场，RCDN首先通过快速哈希网格建模，与其他智能体建立一个基于几何BEV特征的时不变静态场。在静态背景场的基础上，所提出的时变动态场可以为前景物体在适当位置建模相应的运动向量。为验证RCDN，我们创建了OPV2V-N，一个在不同相机失效场景下带有手动标注的新大规模数据集。在OPV2V-N上进行的广泛实验表明，RCDN可以移植到其他基线方法，并提高它们在极端相机不敏感设置下的鲁棒性。
引用
@article{arxiv.2405.16868,
title = {RCDN: Towards Robust Camera-Insensitivity Collaborative Perception via Dynamic Feature-based 3D Neural Modeling},
author = {Tianhang Wang and Fan Lu and Zehan Zheng and Zhijun Li and Guang Chen and Changjun Jiang},
journal= {arXiv preprint arXiv:2405.16868},
year = {2025}
}