ASpanFormer：基于自适应跨度 Transformer 的无检测器图像匹配
计算机视觉与模式识别
2022-08-31 v1
摘要
跨图像生成鲁棒且可靠的对应关系是众多应用的一项基础任务。为捕获全局与局部粒度的上下文，我们提出 ASpanFormer，一种基于 Transformer 的无检测器匹配器，其构建于分层注意力结构之上，采用一种能够以自适应方式调整注意力跨度的新型注意力操作。为实现该目标，首先，在每个交叉注意力阶段回归流图以定位搜索区域中心。接下来，在中心周围生成采样网格，其大小并非经验性地固定配置，而是根据与流图一并估计的像素不确定性自适应计算。最后，在所得区域内（称为注意力跨度）跨两幅图像计算注意力。通过这些手段，我们不仅能够保持长程依赖，还能在高度相关的像素间实现细粒度注意力，从而补偿匹配任务中本质的局部性与分段平滑性。在广泛评估基准上的最先进精度验证了我们方法的强大匹配能力。
引用
@article{arxiv.2208.14201,
title = {ASpanFormer: Detector-Free Image Matching with Adaptive Span Transformer},
author = {Hongkai Chen and Zixin Luo and Lei Zhou and Yurun Tian and Mingmin Zhen and Tian Fang and David Mckinnon and Yanghai Tsin and Long Quan},
journal= {arXiv preprint arXiv:2208.14201},
year = {2022}
}
备注
Accepted to ECCV2022, project page at https://aspanformer.github.io/