ActiveZero: 面向零标注主动立体视觉的混合域学习
计算机视觉与模式识别
2021-12-07 v1
摘要
传统深度传感器生成准确的真实世界深度估计,甚至超越仅在仿真域上训练的最先进学习方法。由于真实域中ground truth深度易于在仿真域获得而在真实域极难获取,我们提出一种兼取两者之长的方法。本文提出一个新框架 ActiveZero,这是一种面向主动立体视觉系统、无需真实世界深度标注的混合域学习方案。首先,我们通过混合域学习策略展示了方法对分布外真实数据的可迁移性。在仿真域中,我们在形状基元数据集上结合使用有监督视差损失与自监督损失。相比之下,在真实域中,我们仅在与训练仿真数据或测试真实数据均分布外的一个数据集上使用自监督损失。其次,我们的方法引入了一种称为时间 IR 重投影的新型自监督损失,以提升在难以感知区域中重投影的鲁棒性与准确性。最后,我们展示了该方法如何端到端训练,以及每个模块对取得最终结果都至关重要。在真实数据上的大量定性与定量评估展示了可甚至击败商用深度传感器的state of the art结果。
引用
@article{arxiv.2112.02772,
title = {ActiveZero: Mixed Domain Learning for Active Stereovision with Zero Annotation},
author = {Isabella Liu and Edward Yang and Jianyu Tao and Rui Chen and Xiaoshuai Zhang and Qing Ran and Zhu Liu and Hao Su},
journal= {arXiv preprint arXiv:2112.02772},
year = {2021}
}