面向已见与未见类别的单视图三维网格重建
计算机视觉与模式识别
2023-06-06 v2
摘要
单视图三维物体重建是一项基础且具有挑战性的计算机视觉任务，旨在从单视图RGB图像恢复三维形状。大多数现有基于深度学习的重建方法在同一类别上训练与评估，在处理训练时未见的 novel 类别物体时表现不佳。针对此问题，本文研究单视图三维网格重建，探讨模型在未见类别上的泛化能力并促使模型按物体原貌重建。具体地，我们提出端到端两阶段网络GenMesh，以打破重建中的类别边界。首先，我们将复杂的图像到网格映射解耦为两个更简单的映射，即图像到点映射与点到网格映射，后者主要为几何问题且较少依赖物体类别。其次，我们在2D与3D特征空间中设计局部特征采样策略，以捕捉跨物体共享的局部几何从而增强模型泛化。第三，除传统的点与点监督外，我们引入多视图轮廓损失监督表面生成过程，提供额外正则并进一步缓解过拟合。实验结果表明，我们的方法在ShapeNet与Pix3D上不同场景与多种指标下显著优于现有工作，尤其对新颖物体。项目链接为 https://github.com/Wi-sc/GenMesh。
引用
@article{arxiv.2208.02676,
title = {Single-view 3D Mesh Reconstruction for Seen and Unseen Categories},
author = {Xianghui Yang and Guosheng Lin and Luping Zhou},
journal= {arXiv preprint arXiv:2208.02676},
year = {2023}
}
备注
Published in IEEE Transactions on Image Processing (TIP)