RIAV-MVS：面向多视立体的循环索引非对称代价体

本文提出一种基于学习的从已标定图像进行多视深度估计的方法。我们的核心思想是“学习即优化”范式，其迭代索引平面扫描代价体并通过卷积门控循环单元（GRU）回归深度图。由于代价体在编码多视几何中起着至关重要的作用，我们旨在从像素级和帧级改进其构建。在像素级，我们提出通过向参考图像（而非源图像）引入 transformer 模块来打破孪生网络（MVS 中通常用于提取图像特征）的对称性。这种非对称代价体使网络能从参考图像提取全局特征以预测其深度图。考虑到参考与源图像间位姿的潜在不准确性，我们提出引入残差位姿网络以校正相对位姿。这本质上在帧级上修正了代价体。我们在真实世界 MVS 数据集上进行大量实验，表明我们的方法在数据集内评估与跨数据集泛化方面均达到最先进性能。代码见：https://github.com/oppo-us-research/riav-mvs。