关于深度与自运动网络在自监督运动恢复结构中的耦合
计算机视觉与模式识别
2022-07-12 v3 机器人学
摘要
运动恢复结构（SfM）近来被表述为一个自监督学习问题，其中深度与自运动的神经网络模型通过视图合成联合学习。在此，我们解决如何最优地耦合或连接深度与自运动网络组件这一开放问题，以便诸如公共尺度因子等信息可在网络间共享。为此，我们引入若干耦合概念，对现有方法进行分类，并提出了一种新颖的紧耦合方法，该方法在训练时与测试时均利用深度与自运动的相互依赖关系。我们的方法使用迭代视图合成递归更新自运动网络输入，从而允许上下文信息在组件间传递。我们通过大量实验证明，我们的方法在测试时促进了深度与自运动预测之间的一致性，改善了泛化能力，并在室内与室外深度及自运动评估基准上达到了最先进的精度。
引用
@article{arxiv.2106.04007,
title = {On the Coupling of Depth and Egomotion Networks for Self-Supervised Structure from Motion},
author = {Brandon Wagstaff and Valentin Peretroukhin and Jonathan Kelly},
journal= {arXiv preprint arXiv:2106.04007},
year = {2022}
}
备注
In IEEE Robotics and Automation Letters (RA-L) and presented at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS'22), Kyoto, Japan, Oct. 23-27, 2022