用于跟踪的旋转等变孪生网络
计算机视觉与模式识别
2020-12-25 v1
摘要
旋转是视觉目标跟踪中长期存在但仍未解决的难题之一。现有的基于深度学习的跟踪算法使用固有的平移等变但并非为处理旋转而设计的常规 CNN。在本文中，我们首先证明当视频中存在旋转实例时，现有跟踪器的性能会受到严重影响。为规避旋转的不利影响，我们提出了旋转等变孪生网络（RE-SiamNets），其通过由可转向滤波器组成的群等变卷积层构建。SiamNets 能够以无监督方式估计目标朝向的变化，从而也便于用于相对 2D 姿态估计。我们进一步表明，该朝向变化可用于通过对连续两帧间朝向变化施加限制，从而在孪生跟踪中引入额外的运动约束。为基准测试，我们提出了旋转跟踪基准（RTB），一个包含一组带旋转实例视频的数据集。通过对两种流行孪生架构的实验，我们表明 RE-SiamNets 很好地处理了旋转问题，并优于其常规对应网络。此外，RE-SiamNets 能以无监督方式准确估计目标的相对姿态变化，即目标相对于参考帧所承受的平面内旋转。
引用
@article{arxiv.2012.13078,
title = {Rotation Equivariant Siamese Networks for Tracking},
author = {Deepak K. Gupta and Devanshu Arya and Efstratios Gavves},
journal= {arXiv preprint arXiv:2012.13078},
year = {2020}
}