基于时间一致性自训练的无监督域适应用于三维手-物联合重建
计算机视觉与模式识别
2020-12-22 v1
摘要
当有标注数据集可用于训练时，用于手-物三维姿态与形状估计的深度学习方案现已非常有效，能够应对测试时遇到的场景与光照条件。遗憾的是，情况并非总是如此，人们常常不得不求助于在合成数据上训练，而这无法保证其在真实情境中表现良好。本文中，我们引入一种有效方法，通过在循环生成对抗网络（CycleGAN）内利用三维几何约束来执行域适应，以应对该挑战。此外，与大多数未能利用无标注真实视频中丰富时间信息作为监督来源的现有工作不同，我们提出施加短期与长期时间一致性，以自监督方式微调域适应后的模型。我们将证明，我们的方法在三个广泛使用的基准上优于最先进的三维手-物联合重建方法，并将公开我们的代码。
引用
@article{arxiv.2012.11260,
title = {Unsupervised Domain Adaptation with Temporal-Consistent Self-Training for 3D Hand-Object Joint Reconstruction},
author = {Mengshi Qi and Edoardo Remelli and Mathieu Salzmann and Pascal Fua},
journal= {arXiv preprint arXiv:2012.11260},
year = {2020}
}
备注
In submission