ShapeCaptioner：通过多视图检测部件到句子的映射学习实现三维形状生成式描述网络
计算机视觉与模式识别
2019-08-02 v1
摘要
三维形状描述生成是三维形状理解中一项具有挑战性的应用。近期基于多视图的方法所生成的描述显示其无法捕捉三维形状的部件级特征。这导致描述中缺乏人类倾向于关注的详细部件级描述。为解决此问题，我们提出生成式描述网络 ShapeCaptioner，通过多视图中检测到的语义部件来执行三维形状描述生成。我们的创新在于从三维形状分割中学习多视图部件检测知识，并迁移该知识以促进从三维形状到句子的映射学习。具体而言，ShapeCaptioner 使用我们新颖的部件类特定聚合来聚合多视图彩色图像中检测到的部件以表示三维形状，然后采用序列到序列模型生成描述。我们优越的结果表明，ShapeCaptioner 能够学习具有更详细部件特征的三维形状特征，从而比先前工作更好地促进三维形状描述生成。
引用
@article{arxiv.1908.00120,
title = {ShapeCaptioner: Generative Caption Network for 3D Shapes by Learning a Mapping from Parts Detected in Multiple Views to Sentences},
author = {Zhizhong Han and Chao Chen and Yu-Shen Liu and Matthias Zwicker},
journal= {arXiv preprint arXiv:1908.00120},
year = {2019}
}