基于语义保持对抗学习的深度跨模态自适应方法用于草图检索三维形状
计算机视觉与模式识别
2018-07-06 v1
摘要
由于二维草图与三维形状之间存在较大的跨模态差异，通过草图检索三维形状是一项极具挑战性的任务。为解决该问题，本文提出一种新颖的框架来学习具有判别性的深度跨模态自适应模型。具体而言，我们首先在两个深度卷积神经网络(CNNs)之后分别采用两个度量网络，基于重要性感知度量学习方法学习模态特定的判别特征。随后，我们显式引入一个跨模态变换网络来补偿两个模态之间的分歧，该网络可将二维草图的特征迁移到三维形状的特征空间中。我们开发了一种基于对抗学习的方法来训练该变换模型，在增强两个模态数据分布之间整体相关性的同时，通过最小化一个跨模态均值差异项来减轻局部语义分歧。在SHREC 2013和SHREC 2014数据集上的实验结果清楚地表明，与最先进的方法相比，我们所提出的模型具有更优的检索性能。
引用
@article{arxiv.1807.01806,
title = {Deep Cross-modality Adaptation via Semantics Preserving Adversarial Learning for Sketch-based 3D Shape Retrieval},
author = {Jiaxin Chen and Yi Fang},
journal= {arXiv preprint arXiv:1807.01806},
year = {2018}
}