自监督的模态与视角不变特征学习
计算机视觉与模式识别
2020-05-29 v1
摘要
现有多数针对三维数据的自监督特征学习方法要么从点云数据学习三维特征，要么从多视图图像学习。通过探索三维对象固有的多模态属性，本文提出利用异构网络从图像、点云和网格等不同模态联合学习三维数据的模态不变与视角不变特征。为学习模态与视角不变特征，我们提出两类约束：跨模态不变约束与跨视角不变约束。跨模态不变约束迫使网络最大化同一对象不同模态特征间的一致性，而跨视角不变约束迫使网络最大化同一对象图像不同视角特征间的一致性。所学特征的质量已在包含点云、多视图图像与网格三种模态数据的不同下游任务上测试。此外，跨模态与跨视角的不变性通过跨模态检索任务进行评估。大量评估结果表明，所学特征具有鲁棒性，并在不同任务间具备强泛化能力。
引用
@article{arxiv.2005.14169,
title = {Self-supervised Modal and View Invariant Feature Learning},
author = {Longlong Jing and Yucheng Chen and Ling Zhang and Mingyi He and Yingli Tian},
journal= {arXiv preprint arXiv:2005.14169},
year = {2020}
}