在线混合轻量表示学习及其在视觉跟踪中的应用

本文提出一种面向流数据的新型混合表示学习框架，其中视频中的图像帧由两个不同的深度神经网络集成建模：一个是低比特量化网络，另一个是轻量全精度网络。前者以低成本学习粗粒度主要信息，而后者传递残差信息以高保真地还原原始表示。所提并行架构能有效保持互补信息，因为量化网络中可利用定点算术，且轻量模型由紧凑的通道剪枝网络给出精确表示。我们将混合表示技术融入在线视觉跟踪任务，其中深度神经网络需实时处理目标外观的时间变化。与基于常规深度神经网络的先进实时跟踪器相比，我们的跟踪算法在标准基准上以极少的计算成本与内存占用展现了具竞争力的精度。