AutoScaler:用于视觉对应的尺度注意力网络
计算机视觉与模式识别
2016-11-18 v1
摘要
寻找局部特征之间的视觉对应是许多计算机视觉问题的关键。虽然用更大的上下文尺度定义特征通常意味着更强的判别性,但也可能导致特征的空间精度降低。我们提出 AutoScaler,一种尺度注意力网络,用于在视觉对应任务中显式优化这一权衡。我们的网络由一个权值共享特征网络(用于计算多尺度特征图)和一个注意力网络(用于在尺度空间中最优地组合它们)组成。这使得我们的网络在输入的不同尺度上具有自适应感受野大小。整个网络在用于视觉对应任务的孪生(siamese)框架中以端到端方式训练。我们的方法在具有挑战性的光流和语义匹配基准(包括 Sintel、KITTI 和 CUB-2011)上相比最先进(SOTA)的方法取得了良好的结果。我们还表明,我们的方法可以泛化到改进通用视觉对应任务上的手工描述子(如 Daisy)。最后,我们的注意力网络能够生成视觉上可解释的尺度注意力图。
引用
@article{arxiv.1611.05837,
title = {AutoScaler: Scale-Attention Networks for Visual Correspondence},
author = {Shenlong Wang and Linjie Luo and Ning Zhang and Jia Li},
journal= {arXiv preprint arXiv:1611.05837},
year = {2016}
}