RePer-360：通过自调制释放 360$^\circ$ 深度估计的透视先验
计算机视觉与模式识别
2026-03-09 v1
摘要
最近的深度基础模型在透视图像上训练可获得强大的性能，但由于透视域与全景域之间的显著几何差异，难以推广到 360 图像。此外，完全微调这些模型通常需要大量全景数据。为此，我们提出了 RePer-360，一个面向单目全景深度估计的、基于失真感知的自调制框架，用于适应深度基础模型，同时保留强大的预训练透视先验。具体而言，我们设计了一个轻量级几何对齐指导模块，从两种互补投影 (即 ERP 和 CP) 中派生调制信号，并用于引导模型向全景域迁移，同时不覆盖其预训练的透视知识。我们进一步引入了 Self-Conditioned AdaLN-Zero 机制，生成像素级缩放因子，以减少透视域和全景域之间的特征分布差距。此外，cubemap 域一致性损失进一步提高了训练稳定性和跨投影对齐。通过将注意力从互补投影融合转向在保留预训练透视先验的前提下进行全景域适应，RePer-360 在仅使用 1% 训练数据的情况下超越了标准微调方法。在相同的领域训练设置下，进一步实现了约 20% 的 RMSE 提升。代码将在接受后发布。
引用
@article{arxiv.2603.05999,
title = {RePer-360: Releasing Perspective Priors for 360$^\circ$ Depth Estimation via Self-Modulation},
author = {Cheng Guan and Chunyu Lin and Zhijie Shen and Junsong Zhang and Jiyuan Wang},
journal= {arXiv preprint arXiv:2603.05999},
year = {2026}
}