面向3D语义特征的表面感知蒸馏
计算机视觉与模式识别
2025-10-14 v2 图形学
摘要
许多3D任务（如姿态对齐、动画、运动传递和3D重建）都依赖于在3D形状之间建立对应关系。近期，这一挑战通过从预训练视觉模型中从预签名语义特征进行两两匹配来解决。然而，尽管这些特征功能强大，但它们在区分同一语义类的实例（如“左手”与“右手”）方面存在困难，导致显著的映射错误。为解决这一问题，我们学习一个对这些模糊情况鲁健的表面感知嵌入空间，同时促进整个3D形状家族的共享映射。重要的是，我们的方法是自监督的，仅需少量未成对的训练网格即可在测试时为新的可能不完美的3D形状推断特征。我们通过引入对比损失来实现这一点，该损失保留了从基础模型蒸馏的特征语义内容，同时消除位于形状表面远离位置的特征。我们观察到在对应匹配基准测试中实现卓越性能，并支持包括2D-to-3D和3D-to-3D纹理传递、部分分割、姿态对齐和低数据条件下的运动传递等下游应用。与以往的两两方法不同，我们的解决方案构建了联合嵌入空间，其中seen和unseen的3D形状被隐式对齐，无需进一步优化。代码可在https://graphics.tudelft.nl/SurfaceAware3DFeatures获取。
引用
@article{arxiv.2503.18254,
title = {Surface-Aware Distilled 3D Semantic Features},
author = {Lukas Uzolas and Elmar Eisemann and Petr Kellnhofer},
journal= {arXiv preprint arXiv:2503.18254},
year = {2025}
}