面向草图检索三维形状的不确定性感知跨模态迁移网络
计算机视觉与模式识别
2023-08-14 v1
摘要
近年来，基于草图的三维形状检索受到越来越多的关注。尽管许多以往研究聚焦于手绘草图与三维形状之间的跨模态匹配，但如何处理草图数据中低质量与含噪样本这一关键问题在很大程度上被忽视了。本文提出一种不确定性感知跨模态迁移网络（UACTN）以解决该问题。UACTN 将草图与三维形状的表示学习解耦为两项独立任务：基于分类的草图不确定性学习与三维形状特征迁移。我们首先引入一种端到端的基于分类的方法，同时学习草图特征与不确定性，使不确定性通过为干净与含噪草图分配不同重要性来防止对含噪草图的过拟合。随后，将三维形状特征映射至预学习的草图嵌入空间以实现特征对齐。在两个基准上的大量实验与消融研究证明了我们所提方法相对于 SOTA 方法的优越性。
引用
@article{arxiv.2308.05948,
title = {Uncertainty-Aware Cross-Modal Transfer Network for Sketch-Based 3D Shape Retrieval},
author = {Yiyang Cai and Jiaming Lu and Jiewen Wang and Shuang Liang},
journal= {arXiv preprint arXiv:2308.05948},
year = {2023}
}
备注
6 pages, 7 figures; To be published in IEEE International Conference on Multimedia and Expo 2023