迈向轻量级与实时的线段检测
计算机视觉与模式识别
2022-04-27 v3 机器学习
摘要
先前基于深度学习的线段检测（LSD）存在模型庞大以及线段预测计算成本高的弊端。这限制了它们在计算受限环境下的实时推理。在本文中，我们提出了一种面向资源受限环境的实时轻量级线段检测器，名为 Mobile LSD (M-LSD)。我们通过最小化骨干网络并去除先前方法中典型的线段预测多模块流程，设计了一种极其高效的 LSD 架构。为了在轻量级网络下保持有竞争力的性能，我们提出了新的训练方案：线段子段（Segments of Line segment, SoL）增强、匹配与几何损失。SoL 增强将一条线段分割为多个子部分，用于在训练过程中提供辅助线段数据。此外，匹配与几何损失使模型能够捕获额外的几何线索。与先前最佳的实时 LSD 方法 TP-LSD-Lite 相比，我们的模型（M-LSD-tiny）以 2.5% 的模型大小取得了有竞争力的性能，并在 GPU 上实现了 130.5% 的推理速度提升。此外，我们的模型在最新的 Android 和 iPhone 移动设备上分别以 56.8 FPS 和 48.6 FPS 运行。据我们所知，这是首个可在移动设备上使用的实时深度 LSD。我们的代码已公开。
引用
@article{arxiv.2106.00186,
title = {Towards Light-weight and Real-time Line Segment Detection},
author = {Geonmo Gu and Byungsoo Ko and SeoungHyun Go and Sung-Hyun Lee and Jingeun Lee and Minchul Shin},
journal= {arXiv preprint arXiv:2106.00186},
year = {2022}
}
备注
Accepted by AAAI2022