LiDAR-相机融合用于无视频训练的视频全景分割
计算机视觉与模式识别
2024-12-31 v1
摘要
全景分割将实例分割和语义分割结合，由于其对场景的全面表示，在自动驾驶车辆中受到广泛关注。该任务可以应用于摄像头和 LiDAR 传感器，但对两者融合以增强图像全景分割（PS）的关注仍有限。尽管前期研究认识到 3D 数据对基于摄像头的场景感知的好处，但尚无具体研究探讨了 3D 数据对图像和视频全景分割（VPS）的影响。本研究旨在引入一个特征融合模块，通过融合 LiDAR 和图像数据来增强 PS 和 VPS。我们还展示了，除了该融合之外，我们提出的模型利用两个简单修改，能够进一步在不进行视频训练的情况下提供更高质量的 VPS。结果表明，图像和视频全景分割评估指标均提升了最多 5 分。
关键词
引用
@article{arxiv.2412.20881,
title = {LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training},
author = {Fardin Ayar and Ehsan Javanmardi and Manabu Tsukada and Mahdi Javanmardi and Mohammad Rahmati},
journal= {arXiv preprint arXiv:2412.20881},
year = {2024}
}
备注
Accepted by 2024 International Conference on Intelligent Computing and its Emerging Applications