掩码为判别模型再度精彩！
计算机视觉与模式识别
2025-07-02 v1
摘要
我们提出了 Image2GS，一种新方法，旨在解决从单张图像重建逼真3D场景的挑战性问题，具体聚焦于图像到3D的提升组件。通过将提升问题（将图像转换为表示可见内容的3D模型）与完成问题（幻想输入中不存在的内容）解耦，我们创建了一个更具决定性的任务，适合判别模型。我们的方法利用从优化的3D高斯溢射中推导出的可见性掩码，在训练时排除源视图之外不可见的区域。这种掩码训练策略显著提高了可见区域的重建质量，优于强大基线。值得注意的是，尽管仅在掩码区域训练，Image2GS 在评估完整场景时仍与采用全目标图像训练的领先判别模型保持竞争力。我们的发现突显了判别模型在拟合不可见区域时的根本性挑战，并展示了针对图像到3D提升作为独立问题采用专用技术的优势。
引用
@article{arxiv.2507.00916,
title = {Masks make discriminative models great again!},
author = {Tianshi Cao and Marie-Julie Rakotosaona and Ben Poole and Federico Tombari and Michael Niemeyer},
journal= {arXiv preprint arXiv:2507.00916},
year = {2025}
}