事件辅助的语义场景补全
计算机视觉与模式识别
2025-02-05 v1 机器人学
图像与视频处理
摘要
自动驾驶系统依赖于稳健的 3D 场景理解。自动驾驶中语义场景补全（SSC）的最新进展凸显了基于 RGB 方法的局限性，这些方法在运动模糊、光照不足和恶劣天气下表现不佳。事件相机具有高动态范围和低延迟特性，通过提供补充 RGB 输入的异步数据来应对这些挑战。我们提出了 DSEC-SSC，这是首个专为事件辅助 SSC 设计的真实世界基准，它包含一个新颖的 4D 标注流水线，用于生成能动态适应物体运动的密集且感知可见性的标签。我们提出的 RGB-Event 融合框架 EvSSC 引入了事件辅助提升模块（ELM），该模块有效地将 2D RGB-Event 特征桥接至 3D 空间，增强了视图变换及 SSC 模型中 3D 体素构建的稳健性。在 DSEC-SSC 和模拟的 SemanticKITTI-E 上的大量实验表明，EvSSC 能够适应基于 Transformer 和基于 LSS 的 SSC 架构。值得注意的是，在 SemanticKITTI-C 上的评估表明，EvSSC 在五种退化模式以及 In-domain 和 Out-of-domain 设置下均取得了一致提升的预测准确率，当图像传感器部分失效时，mIoU 的相对提升高达 52.5%。此外，我们在对自动驾驶构成挑战的运动模糊和极端天气条件下，定量和定性地验证了 EvSSC 的优越性。所建立的数据集和我们的代码库将公开于 https://github.com/Pandapan01/EvSSC。
引用
@article{arxiv.2502.02334,
title = {Event-aided Semantic Scene Completion},
author = {Shangwei Guo and Hao Shi and Song Wang and Xiaoting Yin and Kailun Yang and Kaiwei Wang},
journal= {arXiv preprint arXiv:2502.02334},
year = {2025}
}
备注
The established datasets and codebase will be made publicly at https://github.com/Pandapan01/EvSSC