PoI: 从新视角提取像素兴趣的过滤器，用于场景坐标回归
计算机视觉与模式识别
2026-03-09 v5
摘要
神经网络视图合成(Neural View Synthesis, NVS)技术，如 NeRF 和 3D 高斯溶解(3D Gaussian Splatting, 3DGS)已实现从新视角点的照片级渲染，日益用于增强视觉定位的训练数据。然而，这些方法本质上依赖观察到的几何与辐射；它们仅能插值现有信息，无法幻想未见的三维结构或恢复稀疏或极端视角下的缺失内容。因此，渲染视图常出现模糊、结构失真或几何不完整。虽然此类瑕疵对相机姿态回归(Camera Pose Regression, CPR)方法可被容忍，但严重影响需要精确像素级三维监督的场景坐标回归(Scene Coordinate Regression, SCR)。为此，我们引入 PoI(Pixel-of-Interest)，一个为 SCR 定位的有效 NVS 数据增强框架。我们首先采用 3DGS 渲染新视图，并利用单步扩散模型进行细化，实现超越纯几何驱动插值的结构上可信细节合成。然即便如此，扩散细化后的视图仍可能包含不可靠像素。因此，我们提出基于重投影误差的分级像素级过滤策略，在训练期间选择性保留可信合成像素，抑制有害像素。7Scenes 和 Cambridge Landmarks 上的大量实验表明，我们的方法在强大的 SCR 基线上显著提升定位精度，并以具竞争力的训练效率实现最先进性能。我们的结果揭示：对于 SCR 而言，新视角数据增强的收益不仅取决于生成的逼真度，还取决于对像素可靠性的显式控制。
引用
@article{arxiv.2502.04843,
title = {PoI: A Filter to Extract Pixel of Interest from Novel Views for Scene Coordinate Regression},
author = {Feifei Li and Qi Song and Chi Zhang and Hui Shuai and Rui Huang},
journal= {arXiv preprint arXiv:2502.04843},
year = {2026}
}