RecRecNet：基于薄板样条模型与基于自由度课程学习的宽角图像矩形化校正
计算机视觉与模式识别
2023-09-06 v2
摘要
广角镜头在 VR 技术中展现出引人注目的应用，但它给所拍摄的图像带来了严重的径向畸变。为恢复真实场景，先前的工作致力于校正宽角图像的内容。然而，这种校正方案不可避免地会使图像边界失真，从而改变相关的几何分布并误导当前的视觉感知模型。在本工作中，我们通过提出一种新的学习模型，即矩形化校正网络（RecRecNet），来探索在内容与边界上构建双赢表示。具体而言，我们提出一个薄板样条（TPS）模块来表述用于图像矩形化的非线性非刚性变换。通过学习校正后图像上的控制点，我们的模型可以灵活地将源结构扭曲到目标域，并实现端到端的无监督形变。为缓解结构近似的复杂性，我们进而启发 RecRecNet 通过基于 DoF（自由度）的课程学习来学习渐进形变规则。通过在每个课程阶段增加 DoF，即从相似变换（4-DoF）到单应变换（8-DoF），网络能够探究更细致的形变，在最终矩形化任务上实现快速收敛。实验表明，我们的方案在定量与定性评估上均优于对比方法。代码与数据集可在 https://github.com/KangLiao929/RecRecNet 获取。
引用
@article{arxiv.2301.01661,
title = {RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning},
author = {Kang Liao and Lang Nie and Chunyu Lin and Zishuo Zheng and Yao Zhao},
journal= {arXiv preprint arXiv:2301.01661},
year = {2023}
}
备注
Accepted to ICCV 2023