面向深度三维可变形模型的特征聚合学习

三维可变形模型在计算机视觉与图形学应用中被广泛用于对象类别的形状表示。本文关注直接对具有层次结构的三维网格数据应用深度学习的深度三维可变形模型,以在多尺度上捕获信息。尽管在卷积算子设计方面已做出大量努力,如何最佳地跨层次聚合顶点特征仍值得进一步关注。与采用网格抽稀不同,我们提出一种基于注意力的模块,学习映射矩阵以实现更好的跨层次特征聚合。具体而言,映射矩阵由键与查询的兼容性函数生成。键与查询为可训练变量,通过优化目标函数学习,并由同一对象类别的所有数据样本共享。我们提出的模块可作为即插即用的仅训练替换模块,用于现有架构中下采样与上采样的特征聚合。实验表明,通过对映射矩阵进行端到端训练,相较于现有可变形模型,我们在多个三维形状数据集上取得了 SOTA 结果。