Freeplane:解锁基于三平面的稀疏视角重建模型中的免费午餐
计算机视觉与模式识别
2024-06-04 v1 机器学习
摘要
从单视角图像创建3D资产是一项复杂的任务,需要对世界有深刻理解。最近,前馈3D生成模型通过在大量3D数据集上训练大型重建模型取得了显著进展,其中三平面是首选的3D几何表示。然而,有效利用三平面的几何先验,同时最小化由生成的不一致多视图图像引起的伪影,仍然是一个挑战。在这项工作中,我们提出了频率调制三平面(Freeplane),一种简单而有效的方法,无需额外训练即可提高前馈模型的生成质量。我们首先分析了三平面在前馈方法中的作用,发现不一致的多视图图像会在三平面上引入高频伪影,导致低质量的3D网格。基于这一观察,我们提出策略性地过滤三平面特征,并组合过滤前后的三平面以生成高质量的纹理网格。这些技术不产生额外成本,可以无缝集成到预训练的前馈模型中,以增强其对生成多视图图像不一致性的鲁棒性。定性和定量结果均表明,我们的方法通过简单地调制三平面来提高前馈模型的性能。你只需要在推理过程中调制三平面。
引用
@article{arxiv.2406.00750,
title = {Freeplane: Unlocking Free Lunch in Triplane-Based Sparse-View Reconstruction Models},
author = {Wenqiang Sun and Zhengyi Wang and Shuo Chen and Yikai Wang and Zilong Chen and Jun Zhu and Jun Zhang},
journal= {arXiv preprint arXiv:2406.00750},
year = {2024}
}
备注
project can be found in: https://freeplane3d.github.io/