MonoInstance：通过多视角实例对齐增强单目先验用于神经渲染与重建

单目深度先验已被广泛应用于基于多视角的任务，如3D 重建和新视角合成。然而，由于单视图预测不一致，如何在多视角语境中更有效地利用单目线索仍是一个挑战。现有方法对整个估计深度图不加区分地使用它作为监督，忽略了单目先验中固有的不准确性和跨视角不一致性。为解决这些问题，我们提出MonoInstance，一种通用方法，通过对单目深度的不确定性进行建模，以提供增强的几何先验用于神经渲染和重建。我们的关键思想是将来自多个视角的每个分段实例深度在共同的3D 空间中对齐，从而将单目深度的不确定性估计转化为噪声点云中的密度度量。对于深度先验不可靠的高不确定性区域，我们进一步引入约束项，鼓励投影的实例与相邻视角中的对应实例掩码对齐。MonoInstance是一种可以无缝集成到各种多视角神经渲染框架中的通用策略。我们的实验结果在各种基准测试中显著改进了重建和新视角合成性能。