基于纹理合成难例生成的跨域形状相似性学习
计算机视觉与模式识别
2020-10-28 v2
摘要
基于图像的 3D 形状检索（IBSR）旨在从大型 3D 形状数据库中找到给定 2D 图像对应的 3D 形状。常规做法是将 2D 图像和 3D 形状映射到一个嵌入空间，并定义（或学习）一个形状相似性度量。尽管带有某些自适应技术的度量学习似乎是形状相似性学习的自然解决方案，但对于细粒度形状检索，其性能往往不尽如人意。在本文中，我们找出了性能不佳的根源，并针对该问题提出了一种实用的解决方案。我们发现，负样本对之间的形状差异与纹理差距纠缠在一起，使得度量学习无法有效地将负样本对推远。为应对此问题，我们开发了一个由纹理合成赋能的几何聚焦多视图度量学习框架。为 3D 形状模型合成纹理可创建困难三元组，从而抑制 2D 图像中丰富纹理的不利影响，进而推动网络更多地聚焦于发现几何特征。我们的方法在最近发布的大规模 3D-FUTURE[1] 仓库以及三个被广泛研究的基准（包括 Pix3D[2]、Stanford Cars[3] 和 Comp Cars[4]）上展示了最先进的性能。代码将公开于：https://github.com/3D-FRONT-FUTURE/IBSR-texture
引用
@article{arxiv.2010.12238,
title = {Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning},
author = {Huan Fu and Shunming Li and Rongfei Jia and Mingming Gong and Binqiang Zhao and Dacheng Tao},
journal= {arXiv preprint arXiv:2010.12238},
year = {2020}
}
备注
Accepted to NeurlPS 2020