ADFactory：一种基于 Nerf 泛化光流的有效框架

当前光流方法面临的一个重大挑战是难以很好地泛化到真实世界。这主要由于人工标注数据集成本高昂，且现有自监督方法受限于间接损失与遮挡，导致结果模糊。为应对该挑战，我们提出一种新颖的光流训练框架：自动数据工厂（ADFactory，ADF）。ADF 仅需 RGB 图像作为输入，即可在目标数据域上有效训练光流网络。具体而言，我们利用先进的 Nerf 技术从单目相机采集的照片组中重建场景，并基于渲染结果计算相机位姿对之间的光流标签。为消除由 Nerf 重建场景缺陷导致的错误标签，我们从光流匹配精度、辐射场置信度与深度一致性等多方面对生成的标签进行筛选。筛选后的标签可直接用于网络监督。实验上，ADF 在 KITTI 上的泛化能力超越现有自监督光流与单目场景流算法。此外，ADF 在真实世界零样本泛化评测中取得令人印象深刻的成果，并超越大多数监督方法。