对称性重现：从单图像对称检测到3D生成
计算机视觉与模式识别
2024-11-28 v1
摘要
对称性是视觉世界中普遍且基础的属性，作为感知和结构解释的关键线索。本文探讨了从单张RGB图像检测3D反射对称性，并揭示了其对单图像3D生成的显著益处。我们引入Reflect3D，一个可扩展的、零样本对称检测器，能够在多样化且真实的场景中实现稳健泛化。灵感来自基础模型的成功， 我们的方法基于Transformer架构扩展了对称性检测。我们还利用多视角扩散模型的生成先验，以解决单视图对称检测中固有的歧义问题。广泛的评估表明，Reflect3D在单图像对称检测方面建立了新的状态-of-the-art。此外，我们展示了将检测到的对称性集成到单图像3D生成管道中的实际收益，通过对称感知的优化过程。对称性的整合显著增强了重建3D几何结构和纹理的结构准确性、内凝性和视觉保真度，推动了3D内容创建能力的提升。
引用
@article{arxiv.2411.17763,
title = {Symmetry Strikes Back: From Single-Image Symmetry Detection to 3D Generation},
author = {Xiang Li and Zixuan Huang and Anh Thai and James M. Rehg},
journal= {arXiv preprint arXiv:2411.17763},
year = {2024}
}
备注
Project page: https://ryanxli.github.io/reflect3d/