利用轻量 CNN 网络打破光流中的亮度一致性假设
计算机视觉与模式识别
2024-05-28 v2
摘要
稀疏光流被广泛应用于各种计算机视觉任务中，然而亮度一致性假设限制了其在高动态范围（HDR）环境中的性能。在本工作中，使用一个轻量网络提取对光照具有鲁棒性的卷积特征和具有强不变性的角点。将典型光流方法的亮度一致性修改为卷积特征一致性，得到了光照鲁棒的混合光流方法。所提出的网络在商用 CPU 上以 190 FPS 运行，因为它仅使用四个卷积层同时提取特征图和得分图。由于浅层网络难以直接训练，设计了一个深层网络来计算可靠性图以辅助它。两个网络均采用端到端无监督训练模式。为验证所提方法，我们在动态光照下比较了角点可重复性和匹配性能与原光流的差异。此外，通过替换 VINS-Mono 中的光流方法，构建了更精确的视觉惯性系统。在公开 HDR 数据集中，其将平移误差降低了 93%。代码已公开于 https://github.com/linyicheng1/LET-NET。
引用
@article{arxiv.2310.15655,
title = {Breaking of brightness consistency in optical flow with a lightweight CNN network},
author = {Yicheng Lin and Shuo Wang and Yunlong Jiang and Bin Han},
journal= {arXiv preprint arXiv:2310.15655},
year = {2024}
}
备注
7 pages,7 figures