尺度等变性改进孪生网络跟踪
计算机视觉与模式识别
2020-11-09 v2
摘要
孪生网络跟踪器将跟踪转化为模板与帧中候选区域之间的相似度估计。从数学上讲，相似度函数成功的关键要素之一是平移等变性。非平移等变架构在训练过程中会引入位置偏置，因此难以从特征空间中恢复目标位置。在现实场景中，物体会经历除平移之外的各种变换，例如旋转或缩放。除非模型具有处理这些变换的内部机制，否则相似度可能会下降。本文关注缩放问题，旨在为孪生网络配备额外的内置尺度等变性，以先验地捕捉目标的天然变化。我们发展了尺度等变孪生跟踪器的理论，并给出了如何使现有多种跟踪器具备尺度等变性的简单方案。我们提出了 SE-SiamFC，即依据该方案构建的 SiamFC 的尺度等变变体。我们在 OTB 和 VOT 基准以及合成生成的 T-MNIST 和 S-MNIST 数据集上进行了实验。我们证明了内置的额外尺度等变性对视觉目标跟踪是有用的。
引用
@article{arxiv.2007.09115,
title = {Scale Equivariance Improves Siamese Tracking},
author = {Ivan Sosnovik and Artem Moskalev and Arnold Smeulders},
journal= {arXiv preprint arXiv:2007.09115},
year = {2020}
}