窥探未知：基于神经不确定性图的主动视角选择用于 3D 重建

某些视角天然提供比其他视角更多的信息。AI 系统如何确定哪个视角为准确且高效的 3D 物体重建提供最有价值的洞见？3D 重建的主动视角选择 (AVS) 仍是计算机视觉中的一个基本挑战。其目标是识别一组最小视角集合，以获得最准确的 3D 重建。与学习 radiance 场（如 NeRF 或 3D 高斯消散）不同，我们提出了一种由轻量级前馈深度神经网络预测的神经不确定性图引导的新型 AVS 方法，称为 UPNet。UPNet 以单个 3D 物体的输入图像输出预测的不确定性图，表示所有可能候选视角的不确定性值。通过利用观察众多自然物体及其相关不确定性模式所得的启发式知识，我们训练 UPNet 来学习从视角外观到底层体积表示不确定性的直接映射。随后，我们的方法聚合所有先前预测的神经不确定性图，以抑制冗余候选视角并有效选择最具信息性的视角。使用这些选定视角，我们训练 3D 神经渲染模型并评估新视角合成的质量。值得注意的是，尽管使用了比上限少一半的视角数量，我们的方法仍实现了可与之相当的重建准确率。此外，我们显著降低了 AVS 期间的计算开销，实现了最高可达 400 倍的加速，并实现了 CPU、内存和 GPU 使用量相较于基线方法的超过 50% 的降低。值得注意的是，我们的方法对涉及新物体类别的 AVS 任务具有良好的泛化能力，无需额外训练。