Twinner：在几张快照中照亮数字孪生
计算机视觉与模式识别
2025-03-12 v1
摘要
我们提出了首个大型重建模型 Twinner，能够仅从几张位姿图像中恢复场景的光照以及物体的几何形状和材质属性。Twinner 基于大型重建模型，并在三个关键方面进行了创新：1）我们引入了一种内存高效的体素网格 Transformer，其内存占用仅随体素网格的大小呈二次增长。2）为了应对高质量真实标注 PBR 着色模型的稀缺，我们引入了一个大型全合成数据集，包含在多种光照下生成的程序化 PBR 纹理物体。3）为了缩小合成到真实的差距，我们通过可微的基于物理的着色模型在真实数据集上微调该模型，从而避免了在现实生活中难以获取的真实标注光照或材质属性的需求。我们在真实的 StanfordORB 基准上展示了我们模型的有效性，在给定少量输入视图的情况下，我们实现的重建质量显著优于现有的前馈重建网络，并且可与速度慢得多的逐场景优化方法相媲美。
引用
@article{arxiv.2503.08382,
title = {Twinner: Shining Light on Digital Twins in a Few Snaps},
author = {Jesus Zarzar and Tom Monnier and Roman Shapovalov and Andrea Vedaldi and David Novotny},
journal= {arXiv preprint arXiv:2503.08382},
year = {2025}
}