多视图线画图上的自监督空间推理

Siyuan Xiang; Anbang Yang; Yanfei Xue; Yaoqing Yang; Chen Feng

多视图线画图上的自监督空间推理

计算机视觉与模式识别 2022-05-17 v2 人工智能机器学习

作者: Siyuan Xiang , Anbang Yang , Yanfei Xue , Yaoqing Yang , Chen Feng

摘要

最先进的监督深度网络在多视图线画图上的空间推理最近被显示在 SPARE3D 数据集上有着令人困惑的低性能。基于自监督学习在大量数据可用时有所帮助这一事实,我们提出了两种自监督学习方法来提升 SPARE3D 数据集上视图一致性推理和相机位姿推理任务的基线性能。对于第一项任务,我们使用自监督二分类网络来对比任意两个相似 3D 物体的不同视图之间的线画图差异,使训练后的网络能有效学习对细节敏感且视图不变的 3D 物体线画图表示。对于第二类任务,我们提出一种自监督多类分类框架来训练模型以选择渲染该线画图的正确对应视图。我们的方法甚至对具有未见相机位姿的下游任务也有帮助。实验表明,我们的方法能显著提升 SPARE3D 中的基线性能,而一些流行的自监督学习方法则不能。

关键词

自监督学习空间推理多视图线画图 SPARE3D 视图一致性相机位姿深度网络

引用

@article{arxiv.2104.13433,
  title  = {Self-supervised Spatial Reasoning on Multi-View Line Drawings},
  author = {Siyuan Xiang and Anbang Yang and Yanfei Xue and Yaoqing Yang and Chen Feng},
  journal= {arXiv preprint arXiv:2104.13433},
  year   = {2022}
}

备注

The first two authors contributed equally. Chen Feng is the corresponding author

多视图线画图上的自监督空间推理

摘要

关键词

引用

备注

相关论文