面向零样本草图三维形状检索的域解耦生成对抗网络
计算机视觉与模式识别
2022-07-01 v2
摘要
基于草图的三维形状检索由于草图与三维形状之间存在较大的域差异而是一项具有挑战性的任务。由于现有方法在同一类别上训练和评估，它们无法有效识别训练期间未使用的类别。本文提出了一种新颖的域解耦生成对抗网络（DD-GAN）用于零样本草图三维检索，该网络能够检索训练时未接触过的未见类别。具体而言，我们首先通过解耦草图和三维形状的学习特征来生成域不变特征和域特定特征，其中域不变特征用于与相应的词嵌入对齐。然后，我们开发了一个生成对抗网络，将可见类别的域特定特征与对齐的域不变特征结合以合成样本，其中未见类别的合成样本通过使用相应的词嵌入生成。最后，我们使用未见类别的合成样本与可见类别的真实样本结合来训练检索网络，从而能够识别未见类别。为了减少域偏移问题，我们利用无标签的未见样本来增强判别器的判别能力。通过判别器区分生成的样本与无标签的未见样本，生成器能够生成更真实的未见样本。在 SHREC'13 和 SHREC'14 数据集上的大量实验表明，我们的方法显著提升了未见类别的检索性能。
引用
@article{arxiv.2202.11948,
title = {Domain Disentangled Generative Adversarial Network for Zero-Shot Sketch-Based 3D Shape Retrieval},
author = {Rui Xu and Zongyan Han and Le Hui and Jianjun Qian and Jin Xie},
journal= {arXiv preprint arXiv:2202.11948},
year = {2022}
}
备注
Accepted by AAAI 2022