用于端到端热红外跟踪的合成数据生成
计算机视觉与模式识别
2018-12-26 v2
摘要
现成和端到端训练的深度学习网络的使用显著提升了 RGB 视频视觉跟踪的性能。然而，缺乏大规模标注数据集阻碍了卷积神经网络在热红外（TIR）图像跟踪中的应用。因此，当前 TIR 数据跟踪的最先进方法仍主要基于手工特征。为解决此问题，我们提出使用图像到图像翻译模型。这些模型使我们能够将丰富易得的标注 RGB 数据翻译为合成 TIR 数据。我们探索了配对与非配对图像翻译模型在此目的下的使用。这些方法为我们提供了大规模标注的合成 TIR 序列数据集，可在其上训练用于跟踪的端到端最优特征。据我们所知，我们是首个训练端到端 TIR 跟踪特征的。我们在 VOT-TIR2017 数据集上进行了大量实验。我们表明，在大规模合成 TIR 数据上训练的网络比在现有真实 TIR 数据上训练的网络性能更优。结合两种数据源可带来进一步提升。此外，当我们将该网络与运动特征结合时，以超过 10% 的相对增益优于最先进方法，清晰展示了使用合成数据训练端到端 TIR 跟踪器的有效性。
引用
@article{arxiv.1806.01013,
title = {Synthetic data generation for end-to-end thermal infrared tracking},
author = {Lichao Zhang and Abel Gonzalez-Garcia and Joost van de Weijer and Martin Danelljan and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:1806.01013},
year = {2018}
}