中文

面向内河航道的轻量级目标驱动立体匹配网络

计算机视觉与模式识别 2024-10-11 v1

摘要

内河航道的立体匹配是无人人工浮动平台(USVs)自主导航的关键技术之一,涉及将立体图像划分为参考图像和目标图像进行像素级匹配。然而,由于内河环境的挑战,如纹理模糊、较大的空间尺度以及 USVs 平台的计算资源受限,需要充分利用来自目标图像的几何特征,以实现高效的目标驱动匹配。基于此目标驱动概念,我们提出了一种轻量级目标驱动立体匹配神经网络,命名为 LTNet。具体而言,设计了一种轻量且高效的 4D 成本体积,称为几何目标体(GTV),通过采用偏移后的目标特征作为滤波特征体,充分利用目标特征的几何信息。随后,为解决水路环境中显著的纹理干扰和目标遮挡问题,提出了左-右一致性细化(LRR)模块。该 LRR 模块利用左右视差像素级差异引入软约束,从而在网络中间阶段提高预测准确性。此外,还利用知识蒸馏来增强轻量化模型在 USVInland 数据集上的泛化能力。进一步,使用一个新的大规模基准数据集,称为 Spring,以验证 LTNet 在各种场景中的适用性。在上述两个数据集上的实验中,LTNet 实现了具有竞争力的结果,仅需 370 万参数。代码已公开于 https://github.com/Open-YiQingZhou/LTNet。

关键词

引用

@article{arxiv.2410.07915,
  title  = {A Lightweight Target-Driven Network of Stereo Matching for Inland Waterways},
  author = {Jing Su and Yiqing Zhou and Yu Zhang and Chao Wang and Yi Wei},
  journal= {arXiv preprint arXiv:2410.07915},
  year   = {2024}
}

备注

12 pages, 6 figures