通过部件形变一致性实现语义感知的隐式模板学习
计算机视觉与模式识别
2023-08-24 v1
摘要
将隐式模板学习为神经场近期在无监督形状对应中展现出令人印象深刻的性能。尽管取得成功，我们观察到当前仅依赖几何信息的方法常在不同结构变异性较大的通用物体形状间学到次优形变。本文中，我们强调了部件形变一致性的重要性，并提出一种语义感知的隐式模板学习框架以实现语义合理的形变。通过利用来自自监督特征提取器的语义先验，我们提出结合新颖语义感知形变码的局部条件化，以及关于部件形变、全局形变和全局缩放的形变一致性正则化。我们广泛的实验证明了所提方法在多项任务上优于基线：关键点迁移、部件标签迁移和纹理迁移。更有趣的是，我们的框架在更具挑战性的设定下展现出更大的性能增益。我们还提供定性分析以验证语义感知形变的有效性。代码可在 https://github.com/mlvlab/PDC 获取。
引用
@article{arxiv.2308.11916,
title = {Semantic-Aware Implicit Template Learning via Part Deformation Consistency},
author = {Sihyeon Kim and Minseok Joo and Jaewon Lee and Juyeon Ko and Juhan Cha and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2308.11916},
year = {2023}
}
备注
ICCV camera-ready version