将单视图 3D 形状检索泛化至遮挡与未见物体场景
计算机视觉与模式识别
2024-01-02 v1
摘要
单视图 3D 形状检索是一项具有挑战性的任务，随着可用 3D 数据的增长，其重要性日益凸显。先前研究该任务的工作并未专注于评估现实遮挡如何影响性能，也未关注形状检索方法如何泛化到目标 3D 形状数据库包含未见形状或输入图像包含未见物体的场景。在本文中，我们沿三个不同维度系统评估了单视图 3D 形状检索：物体遮挡与截断的存在性、对未见 3D 形状数据的泛化能力，以及对输入图像中未见物体的泛化能力。我们标准化了两个现有的真实图像数据集，并提出了一种数据集生成流程，以产生包含多个物体且 exhibiting 现实遮挡的合成数据集。我们的实验表明，如同先前工作通常所做的那样，在无遮挡数据上训练会导致针对有遮挡输入的性能显著下降。我们发现，通过首先在我们的含遮挡合成数据集上进行预训练，然后在真实数据上进行微调，可以显著优于先前的模型，并展现出对未见 3D 形状和未见物体的鲁棒性。
引用
@article{arxiv.2401.00405,
title = {Generalizing Single-View 3D Shape Retrieval to Occlusions and Unseen Objects},
author = {Qirui Wu and Daniel Ritchie and Manolis Savva and Angel X. Chang},
journal= {arXiv preprint arXiv:2401.00405},
year = {2024}
}