基于Transformer交叉注意力估计极端三维图像旋转
计算机视觉与模式识别
2024-03-12 v2
摘要
大角度及极端图像旋转的估计在多个计算机视觉领域中起着关键作用，其中旋转后的图像通过有限或非重叠的视场相关联。现有方法应用卷积神经网络计算4D相关体以估计图像对之间的相对旋转。在本工作中，我们提出一种基于交叉注意力的方法，利用CNN特征图和Transformer-Encoder计算图像对激活图之间的交叉注意力，其被证明是先前工作中所用4D相关体的一种改进的等价形式。在所提方法中，较高的注意力分数与编码旋转视觉线索的图像区域相关联。我们的方法是端到端可训练的，并优化一个简单的回归损失。实验表明，在常用的图像旋转数据集和基准上，该方法优于当前的state-of-the-art方案，并在这些数据集上确立了新的state-of-the-art精度。我们公开了代码。
引用
@article{arxiv.2303.02615,
title = {Estimating Extreme 3D Image Rotation with Transformer Cross-Attention},
author = {Shay Dekel and Yosi Keller and Martin Cadik},
journal= {arXiv preprint arXiv:2303.02615},
year = {2024}
}