FishFormer：基于环带切分的 Transformer 鱼眼校正与效能域探索
计算机视觉与模式识别
2022-08-02 v2
摘要
通过 CNN 已在鱼眼图像校正上取得诸多重要进展。然而，受限于固定感受野，畸变的全局分布与局部对称性尚未被充分挖掘。为利用这两类特性，我们引入 FishFormer，将鱼眼图像作为序列处理以增强全局与局部感知。我们依据鱼眼图像的结构特性对 Transformer 进行调整。首先，现有方形切分方法生成的块中不均匀的畸变分布会混淆网络，导致训练困难。因此，我们提出一种环带切分方法，以保持每块中畸变的一致性，从而良好感知畸变分布。其次，我们分析得出不同畸变参数各有其效能域。故此，局部区域的感知与全局同等重要，但 Transformer 在局部纹理感知上存在弱点。为此，我们提出一种新颖的层注意力机制以增强局部感知与纹理传递。我们的网络同时实现由不同参数决定的全局感知与聚焦局部感知。大量实验表明，相较最先进的方法，我们的方法提供了更优性能。
引用
@article{arxiv.2207.01925,
title = {FishFormer: Annulus Slicing-based Transformer for Fisheye Rectification with Efficacy Domain Exploration},
author = {Shangrong Yang and Chunyu Lin and Kang Liao and Yao Zhao},
journal= {arXiv preprint arXiv:2207.01925},
year = {2022}
}