扇形块嵌入：一种契合鱼眼图像畸变模式的嵌入模块
计算机视觉与模式识别
2023-03-28 v1 机器人学
摘要
鱼眼相机在具有大视场（LFOV）的同时遭受图像畸变。这一事实导致某些鱼眼视觉任务性能不佳。解决方案之一是针对鱼眼图像优化现有视觉算法。然而，大多数基于CNN与基于Transformer的方法缺乏高效利用畸变信息的能力。本工作中，我们提出一种称为扇形块嵌入（SPE）的新颖块嵌入方法，其契合鱼眼图像的畸变模式。此外，我们基于ImageNet-1K提出一个合成鱼眼数据集，并探索若干Transformer模型在该数据集上的性能。采用SPE后，ViT与PVT的分类top-1准确率分别提升0.75%与2.8%。实验表明，所提扇形块嵌入方法能更好地感知鱼眼图像上的畸变并提取特征。我们的方法可轻易应用于其他基于Transformer的模型。源代码见https://github.com/IN2-ViAUn/Sector-Patch-Embedding。
引用
@article{arxiv.2303.14645,
title = {Sector Patch Embedding: An Embedding Module Conforming to The Distortion Pattern of Fisheye Image},
author = {Dianyi Yang and Jiadong Tang and Yu Gao and Yi Yang and Mengyin Fu},
journal= {arXiv preprint arXiv:2303.14645},
year = {2023}
}