SemARFlow：将语义注入自动驾驶的无监督光流估计
计算机视觉与模式识别
2023-08-09 v2 机器人学
摘要
无监督光流估计在遮挡与运动边界附近以及低纹理区域尤其困难。我们表明，语义与领域知识等附加信息有助于更好地约束该问题。我们提出 SemARFlow，一种为自动驾驶数据设计的无监督光流网络，它将估计的语义分割掩码作为额外输入。该附加信息被注入编码器与细化光流输出的学习型上采样器中。此外，一个简单而有效的语义增强模块在为车辆、杆与天空学习光流及其边界时提供自监督。这些语义信息的注入共同将 KITTI-2015 光流测试错误率从 11.80% 降至 8.38%。我们还展示了物体边界处的可见改善以及跨数据集更强的泛化能力。代码见 https://github.com/duke-vision/semantic-unsup-flow-release。
引用
@article{arxiv.2303.06209,
title = {SemARFlow: Injecting Semantics into Unsupervised Optical Flow Estimation for Autonomous Driving},
author = {Shuai Yuan and Shuzhi Yu and Hannah Kim and Carlo Tomasi},
journal= {arXiv preprint arXiv:2303.06209},
year = {2023}
}
备注
Accepted by ICCV-2023; Code is available at https://github.com/duke-vision/semantic-unsup-flow-release