利用事件数据检测运动模糊图像中的线段
计算机视觉与模式识别
2024-10-28 v2
摘要
提升线段检测器在运动模糊下的可靠性是视觉SLAM与三维重建等实际应用面临的最重要挑战之一。现有线段检测方法在运动模糊发生时,在准确检测与定位线段方面性能严重下降。而事件数据对图像具有强互补特性:模糊极小、边缘感知且具有高时间分辨率,有望有助于可靠的线段识别。为在运动模糊下鲁棒地检测线段,我们提出利用图像与事件的互补信息。为此,我们首先设计了一个通用的帧-事件特征融合网络,用于提取并融合精细的图像纹理与低延迟的事件边缘,该网络由基于通道注意力的浅层融合模块和基于自注意力的双沙漏模块组成。随后,我们利用两个最先进的线框解析网络在融合特征图上检测线段。此外,我们贡献了一个合成与一个真实线段检测数据集,即FE-Wireframe与FE-Blurframe,包含成对的受运动模糊的图像与事件。在两个数据集上的大量实验证明了所提方法的有效性。在真实数据集上测试时,我们的方法在FE-Wireframe上预训练并在FE-Blurframe上微调的模型取得了63.3%的平均结构平均精度(mean structural average precision, msAP),相比仅合成训练与仅真实训练的模型分别提升了32.6和11.3个百分点。代码、数据集与训练模型发布于:https://levenberg.github.io/FE-LSD
引用
@article{arxiv.2211.07365,
title = {Detecting Line Segments in Motion-blurred Images with Events},
author = {Huai Yu and Hao Li and Wen Yang and Lei Yu and Gui-Song Xia},
journal= {arXiv preprint arXiv:2211.07365},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication