回归三维：基于反投影二维特征的少样本三维关键点检测
计算机视觉与模式识别
2024-03-28 v2 图形学
摘要
近年来，随着数据集规模和计算资源的急剧增长，所谓的基础模型在NLP和视觉任务中变得流行。在本工作中，我们提出探索基础模型用于三维形状上的关键点检测任务。关键点检测的一个独特特性是它需要语义和几何感知，同时要求高定位精度。为解决该问题，我们首先提出将大型预训练二维视觉模型的特征反投影到三维形状上，并将其用于该任务。我们展示了所获得的鲁棒三维特征包含丰富的语义信息，并分析了源自不同二维基础模型的多个候选特征。其次，我们采用了一个关键点候选优化模块，旨在匹配形状上观察到的关键点平均分布，并由反投影特征引导。所得方法在KeyPointNet数据集上实现了少样本关键点检测的新SOTA，性能几乎是先前最佳方法的两倍。
引用
@article{arxiv.2311.18113,
title = {Back to 3D: Few-Shot 3D Keypoint Detection with Back-Projected 2D Features},
author = {Thomas Wimmer and Peter Wonka and Maks Ovsjanikov},
journal= {arXiv preprint arXiv:2311.18113},
year = {2024}
}
备注
Accepted to CVPR 2024, Project page: https://wimmerth.github.io/back-to-3d.html