SimFIR：一种基于自监督表示学习的鱼眼图像校正简单框架
计算机视觉与模式识别
2023-08-21 v1
摘要
在鱼眼图像中，丰富的独特畸变模式规律地分布在图像平面上。这些畸变模式独立于视觉内容，并为校正提供了信息性线索。为充分利用此类校正线索，我们提出了 SimFIR，一种基于自监督表示学习的鱼眼图像校正简单框架。在技术上，我们首先将鱼眼图像分割为多个图像块，并使用 Vision Transformer (ViT) 提取其表示。为学习细粒度的畸变表示，我们随后基于鱼眼模型将不同图像块与其特定畸变模式相关联，并进一步精巧地设计了一种创新的统一畸变感知预训练任务用于其学习。在下游校正任务上的迁移性能得到显著提升，验证了所学表示的有效性。我们进行了大量实验，定量与定性结果证明了我们的方法相对于最先进算法的优越性以及其在真实世界鱼眼图像上的强泛化能力。
引用
@article{arxiv.2308.09040,
title = {SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning},
author = {Hao Feng and Wendi Wang and Jiajun Deng and Wengang Zhou and Li Li and Houqiang Li},
journal= {arXiv preprint arXiv:2308.09040},
year = {2023}
}
备注
Accepted to ICCV 2023