PASR：从遮挡单视图进行姿态感知的 3D 形状检索
计算机视觉与模式识别
2026-04-30 v2
摘要
单视图 3D 形状检索是 increasingly important 的基础且具有挑战性的任务。现有方法大多分为两类：一类使用对比学习将点云特征映射到已有的视觉语言空间；另一类学习 2D 图像与 3D 形状的共同嵌入空间。然而，这些前馈式、整体对齐方式往往难以解释，从而限制了其在实际应用中的鲁棒性与泛化能力。为此，我们提出 Pose-Aware 3D Shape Retrieval（PASR）框架，将检索形式化为特征层面的分析-合成问题，通过从 2D 基础模型（DINOv3）蒸馏知识到 3D 编码器中。通过将姿态条件的 3D 投影与 2D 特征图对齐，我们的方法桥接了现实图像与合成网格之间的差距。在推理阶段，PASR 通过分析-合成进行测试时优化，联合搜索最佳的形状与姿态以重构输入图像的 patch 级别特征图。这种基于合成的优化天然对部分遮挡具有鲁棒性，并且对细粒度几何细节敏感。PASR 在干净和遮挡的 3D 形状检索数据集上均以显著优势超越现有方法。此外，PASR 显示出强大的多任务能力，在单一框架中实现了稳健的形状检索、具竞争力的姿态估计和准确的类别分类。
引用
@article{arxiv.2604.22658,
title = {PASR: Pose-Aware 3D Shape Retrieval from Occluded Single Views},
author = {Jiaxin Shi and Guofeng Zhang and Wufei Ma and Naifu Liang and Adam Kortylewski and Alan Yuille},
journal= {arXiv preprint arXiv:2604.22658},
year = {2026}
}