双投影融合：用于机器人视觉中精确 upright 全景图像生成
计算机视觉与模式识别
2025-12-02 v1
摘要
全景相机能够捕获 360 度视野，在稀疏特征环境中发挥着重要作用。然而，由于机器人姿态不稳定导致的非 upright 全景图像，妨碍了下游任务。传统的 IMU 校正方法受漂移与外部干扰限制，而视觉基方法则提供了可行的替代方案。本文提出一种双流角度感知生成网络，联合估计相机倾斜角度并重建 upright 全景图像。网络包含从等距投影中提取局部几何结构的 CNN 分支，以及从 cubemap 投影中捕获全局语境信息的 ViT 分支。两者通过双投影自适应融合模块进行集成，跨域对齐空间特征。为进一步提升性能，本文引入高频增强模块、循环填充与通道注意力机制，以保持 360{\deg} 连续性并提高几何灵敏度。在 SUN360 与 M3D 数据集上的实验表明，我们的方法在倾斜角度估计与 upright 全景图像生成方面均优于现有方法。消融实验进一步验证了各模块的贡献，并突显了两项任务之间的协同作用。代码与相关数据集已公开于 https://github.com/YuhaoShine/DualProjectionFusion。
引用
@article{arxiv.2512.00911,
title = {Dual-Projection Fusion for Accurate Upright Panorama Generation in Robotic Vision},
author = {Yuhao Shan and Qianyi Yuan and Jingguo Liu and Shigang Li and Jianfeng Li and Tong Chen},
journal= {arXiv preprint arXiv:2512.00911},
year = {2025}
}