真正无监督的新视角合成可迁移

本文我们确定，确定模型是否真正具备新视角合成（Novel View Synthesis, NVS）能力的关键标准是迁移性：从一个视频序列中提取的任意姿态表示能否用于在另一个场景中重新渲染相同的相机轨迹。我们分析了先前关于无监督NVS的工作，发现其预测的姿态无法实现迁移：同一套姿态在不同的3D场景中导致不同的相机轨迹。本文提出了XFactor，首个能够实现真正NVS的无几何先验模型。XFactor结合成对姿态估计与简单的输入输出增强方案，联合实现了将相机姿态从场景内容中解耦并促进几何推理。令人惊讶的是，我们展示了XFactor在无约束潜在姿态变量下实现迁移性，无需来自多视几何的任何3D归纳偏置——例如将姿态明确参数化为SE(3)的元素。我们引入了新的指标来量化迁移性，并通过大规模实验表明，XFactor显著优于先前的姿态无关NVS变换器，显示出潜在姿态与真实世界姿态之间高度相关性。