一种用于单目深度与光流估计跨域学习的紧凑结构
计算机视觉与模式识别
2022-08-26 v1
摘要
准确的运动与深度恢复对包括自动驾驶在内的许多机器人视觉任务十分重要。以往多数研究通过预定义损失函数或跨域预测实现协作式多任务交互。本文提出一种多任务方案，通过我们所设计的流到深度(Flow to Depth, F2D)、深度到流(Depth to Flow, D2F)以及指数移动平均(Exponential Moving Average, EMA)实现相互辅助。F2D 与 D2F 机制基于可微浅层网络实现光流与深度域间的多尺度信息融合。采用双头机制以分治方式预测刚体与非刚体运动的光流，显著提升了光流估计性能。此外，为使预测更鲁棒稳定，EMA 被用于我们的多任务训练。在 KITTI 数据集上的实验结果表明，我们的多任务方案优于其他多任务方案，并在预测结果上带来显著提升。
引用
@article{arxiv.2208.11993,
title = {A Compacted Structure for Cross-domain learning on Monocular Depth and Flow Estimation},
author = {Yu Chen and Xu Cao and Xiaoyi Lin and Baoru Huang and Xiao-Yun Zhou and Jian-Qing Zheng and Guang-Zhong Yang},
journal= {arXiv preprint arXiv:2208.11993},
year = {2022}
}