MeTTA：基于测试时自适应的单视图3D纹理网格重建
计算机视觉与模式识别
2024-08-22 v1
摘要
从单视图图像重建3D是一个长期存在的挑战。解决此问题的常用方法之一是学习方法，但处理与训练数据分布不同的测试样本（即分布外样本）会带来额外挑战。为了适应未见过的样本，我们提出了MeTTA，一种利用生成先验的测试时自适应（TTA）方法。我们设计了3D几何、外观和姿态的联合优化，以仅使用单视图图像处理分布外情况。然而，通过估计姿态将参考图像与3D形状对齐可能存在误差，从而导致歧义。为解决此歧义，我们精心设计了可学习的虚拟相机和其自校准机制。在我们的实验中，我们证明了MeTTA能够有效处理现有基于学习的3D重建模型失败情况下的分布外场景，并通过基于物理的渲染（PBR）纹理获得逼真的外观。
关键词
引用
@article{arxiv.2408.11465,
title = {MeTTA: Single-View to 3D Textured Mesh Reconstruction with Test-Time Adaptation},
author = {Kim Yu-Ji and Hyunwoo Ha and Kim Youwang and Jaeheung Surh and Hyowon Ha and Tae-Hyun Oh},
journal= {arXiv preprint arXiv:2408.11465},
year = {2024}
}
备注
Accepted at BMVC 2024. [Project page] https://metta3d.github.io/