单图像零样体化不完整CAD模型对齐
计算机视觉与模式识别
2025-07-08 v1
摘要
从单张图像推断3D场景结构的一种实际方法是从数据库中检索与之最匹配的3D模型并与图像中的物体对齐。现有方法依赖带有图像和姿态标注的监督训练，这限制了它们仅能适用于狭窄的对象类别。为此，我们提出了一种无需姿态标注、可推广至未见类别的弱监督式9自由度对齐方法，用于不完整3D模型。我们的方法基于基础特征派生出一种新特征空间，确保多视图一致性，并通过自监督三元组损失克服基础特征固有的对称性歧义。此外，我们引入一种纹理不变的姿态细化技术，通过增强特征空间执行标准化对象坐标中的密集对齐。我们在真实世界的ScanNet25k数据集上进行了广泛评估，其中我们的方法在弱监督基线上实现了+4.3%的平均对齐精度，并是唯一超越监督ROCA方法的+2.7%的弱监督方法。为评估泛化性，我们引入SUN2CAD，一个包含20个新对象类别的真实测试集，其中我们的方法在无需对其进行训练的情况下实现了最先进的结果。
引用
@article{arxiv.2507.03292,
title = {Zero-shot Inexact CAD Model Alignment from a Single Image},
author = {Pattaramanee Arsomngern and Sasikarn Khwanmuang and Matthias Nießner and Supasorn Suwajanakorn},
journal= {arXiv preprint arXiv:2507.03292},
year = {2025}
}
备注
ICCV 2025. Project page: https://zerocad9d.github.io/